Ongelma lineaarisessa regressiossa

Ennen kuin määritellään polynomiregressio, tarkastellaan tapausta, jossa aiemmin opittu lineaarinen regressio ei toimi hyvin.

Tässä näet, että yksinkertainen lineaarinen regressiomallimme toimii huonosti. Tämä johtuu siitä, että se yrittää sovittaa suoran viivan datapisteisiin. Voimme kuitenkin huomata, että paraabelin sovittaminen olisi huomattavasti parempi valinta näille pisteille.

Kvadraattisen regression yhtälö

Suoran mallin rakentamiseen käytettiin suoran yhtälöä (y=ax+b). Paraabelimallin rakentamiseen tarvitaan paraabelin yhtälö. Tämä on kvadraattinen yhtälö: $y=ax²+bx+c$. Kun muutetaan $a$, $b$ ja $c$ muotoon $β$, saadaan kvadraattisen regression yhtälö:

Missä:

• $\beta_0, \beta_1, \beta_2$ – ovat mallin parametreja;
• $y_{\text{pred}}$ – on kohteen ennuste;
• $x$ – on ominaisuuden arvo.

Tätä yhtälöä kuvaavaa mallia kutsutaan kvadraattiseksi regressioksi. Kuten aiemmin, tarvitsemme vain parhaat parametrit havaintopisteillemme.

Normaaliyhtälö ja X̃

Kuten aina, normaaliyhtälö auttaa löytämään parhaat parametrit. Mutta meidän täytyy määritellä X̃ oikein.

Tiedämme jo, miten X̃-matriisi rakennetaan monimuuttujaisessa lineaarisessa regressiossa. Käy ilmi, että X̃-matriisi rakennetaan polynomiregressiossa samalla tavalla. Voimme ajatella x²:ta toisena piirteenä. Näin ollen meidän täytyy lisätä uusi sarake X̃-matriisiin. Se sisältää samat arvot kuin edellinen sarake, mutta korotettuna toiseen potenssiin.

Alla oleva video näyttää, miten X̃ rakennetaan.