Het probleem met lineaire regressie

Voordat we Polynomial Regression definiëren, bekijken we eerst het geval waarin de eerder behandelde Lineaire Regressie niet goed werkt.

Hier is te zien dat ons eenvoudige lineaire regressiemodel slecht presteert. Dit komt doordat het probeert een rechte lijn door de datapunten te trekken. We merken echter op dat het passen van een parabool een veel betere keuze zou zijn voor onze punten.

Vergelijking voor kwadratische regressie

Voor het opstellen van een model met een rechte lijn gebruikten we de vergelijking van een lijn (y=ax+b). Om een parabolisch model te bouwen, hebben we de vergelijking van een parabool nodig. Dit is de kwadratische vergelijking: $y=ax²+bx+c$. Door $a$, $b$ en $c$ te vervangen door $β$ krijgen we de vergelijking voor kwadratische regressie:

Waarbij:

• $\beta_0, \beta_1, \beta_2$ – de parameters van het model zijn;
• $y_{\text{pred}}$ – de voorspelling van de doelvariabele is;
• $x$ – de waarde van de feature is.

Het model dat door deze vergelijking wordt beschreven, heet kwadratische regressie. Net als voorheen hoeven we alleen de beste parameters voor onze datapunten te vinden.

Normale Vergelijking en X̃

Zoals altijd zorgt de normale vergelijking voor het vinden van de beste parameters. Maar we moeten de X̃ correct definiëren.

We weten al hoe we de X̃-matrix voor meervoudige lineaire regressie moeten opbouwen. Het blijkt dat de X̃-matrix voor polynomiale regressie op vergelijkbare wijze wordt geconstrueerd. We kunnen x² beschouwen als een tweede kenmerk. Op deze manier moeten we een overeenkomstige nieuwe kolom aan de X̃ toevoegen. Deze zal dezelfde waarden bevatten als de vorige kolom, maar dan in het kwadraat.

De onderstaande video laat zien hoe de X̃ wordt opgebouwd.