Het probleem met lineaire regressie

Voordat we de polynomiale regressie definiëren, bekijken we eerst het geval waarbij de eerder behandelde lineaire regressie niet goed werkt.

Hier zie je dat ons eenvoudige lineaire regressiemodel slecht presteert. Dit komt doordat het probeert een rechte lijn aan de datapunten aan te passen. We merken echter op dat het aanpassen van een parabool een veel betere keuze zou zijn voor onze punten.

Vergelijking van kwadratische regressie

Voor het opstellen van een model met een rechte lijn gebruikten we de vergelijking van een lijn (y=ax+b). Om een parabolisch model te bouwen, hebben we de vergelijking van een parabool nodig. Dit is de kwadratische vergelijking: y=ax²+bx+c. Door a, b en c te vervangen door β krijgen we de vergelijking van kwadratische regressie:

Het model dat door deze vergelijking wordt beschreven, wordt kwadratische regressie genoemd. Net als voorheen hoeven we alleen de beste parameters voor onze datapunten te vinden.

Normale Vergelijking en X̃

Zoals altijd zorgt de Normale Vergelijking voor het vinden van de beste parameters. Maar we moeten de X̃ correct definiëren.

We weten al hoe we de X̃-matrix voor Meervoudige Lineaire Regressie moeten opbouwen. Het blijkt dat de X̃-matrix voor Polynomiale Regressie op vergelijkbare wijze wordt geconstrueerd. We kunnen x² beschouwen als een tweede kenmerk. Op deze manier moeten we een nieuwe overeenkomstige kolom toevoegen aan de X̃. Deze kolom bevat dezelfde waarden als de vorige kolom, maar dan in het kwadraat.

De onderstaande video laat zien hoe de X̃ wordt opgebouwd.