Ongelma lineaarisessa regressiossa

Ennen kuin määrittelemme polynomiregression, tarkastelemme tapausta, jossa aiemmin oppimamme lineaarinen regressio ei toimi hyvin.

Tässä näet, että yksinkertainen lineaarinen regressiomallimme toimii huonosti. Tämä johtuu siitä, että se yrittää sovittaa suoran viivan datapisteisiin. Voimme kuitenkin huomata, että paraabelin sovittaminen olisi paljon parempi valinta pisteillemme.

Toisen asteen regressioyhtälö

Suoran mallin rakentamiseen käytimme suoran yhtälöä (y=ax+b). Paraabelimallin rakentamiseen tarvitsemme paraabelin yhtälön. Tämä on toisen asteen yhtälö: y=ax²+bx+c. Kun muutamme a, b ja c muotoon β, saamme toisen asteen regressioyhtälön:

Tätä yhtälöä kuvaavaa mallia kutsutaan kvadraattiseksi regressioksi. Kuten aiemmin, tarvitsemme vain parhaat parametrit havaintopisteillemme.

Normaaliyhtälö ja X̃

Kuten aina, normaaliyhtälö auttaa löytämään parhaat parametrit. Mutta meidän täytyy määritellä X̃ oikein.

Tiedämme jo, miten X̃-matriisi rakennetaan monimuuttujaisessa lineaarisessa regressiossa. Käy ilmi, että X̃-matriisi rakennetaan polynomiregressiossa samalla tavalla. Voimme ajatella x²:ta toisena piirteenä. Tällöin meidän täytyy lisätä uusi sarake X̃-matriisiin. Se sisältää samat arvot kuin edellinen sarake, mutta korotettuna toiseen potenssiin.

Alla oleva video näyttää, miten X̃ rakennetaan.