Problemet med lineær regression

Før vi definerer polynomiel regression, ser vi på et tilfælde, hvor den lineære regression, vi tidligere har lært, ikke håndterer situationen tilfredsstillende.

Her kan du se, at vores simple lineære regressionsmodel klarer sig dårligt. Det skyldes, at modellen forsøger at tilpasse en ret linje til datapunkterne. Vi kan dog bemærke, at det ville være en langt bedre løsning at tilpasse en parabel til vores punkter.

Kvadratisk regressionsligning

For at opbygge en model med en ret linje brugte vi en linjes ligning (y=ax+b). For at opbygge en parabolsk model har vi brug for en parabels ligning. Det er den kvadratiske ligning: $y=ax²+bx+c$. Hvis vi ændrer $a$, $b$ og $c$ til $β$, får vi kvadratisk regressionsligning:

Hvor:

• $\beta_0, \beta_1, \beta_2$ – modellens parametre;
• $y_{\text{pred}}$ – forudsigelse af målvariablen;
• $x$ – feature-værdi.

Modellen, som denne ligning beskriver, kaldes Kvadratisk Regression. Som tidligere skal vi blot finde de bedste parametre for vores datapunkter.

Normal Ligning og X̃

Som altid håndterer den normale ligning at finde de bedste parametre. Men vi skal definere X̃ korrekt.

Vi ved allerede, hvordan vi opbygger X̃-matricen til multipel lineær regression. Det viser sig, at X̃-matricen til polynomiel regression konstrueres på lignende måde. Vi kan betragte x² som en anden feature. På denne måde skal vi tilføje en tilsvarende ny kolonne til X̃. Den vil indeholde de samme værdier som den forrige kolonne, men opløftet i anden potens.

Videoen nedenfor viser, hvordan man opbygger X̃.