Summary  
This chapter explains how to estimate the optimal parameters of a linear regression model by minimizing the sum of squared residuals using the ordinary least squares method and solving the normal equation.

General domain of usage  
Machine learning predictive modeling

Nyt tiedämme, että lineaarinen regressio on vain viiva, joka parhaiten sopii dataan. Mutta miten voit tietää, mikä viiva on oikea?

Voit laskea erotuksen ennustetun arvon ja todellisen tavoitearvon välillä jokaiselle havaintopisteelle opetusdatassa.   
Näitä erotuksia kutsutaan **residuaaleiksi** (tai **virheiksi**). Tavoitteena on saada residuaalit mahdollisimman pieniksi.   

## Pienimmän neliösumman menetelmä
Oletusmenetelmänä käytetään **pienimmän neliösumman** (**OLS**) menetelmää:   
Otetaan jokainen residuaali, **korotetaan se toiseen potenssiin** (pääasiassa residuaalin etumerkin poistamiseksi) ja **lasketaan niiden summa**.  
Tätä kutsutaan nimellä **SSR** (**Sum of squared residuals**). Tavoitteena on löytää parametrit, jotka minimoivat SSR:n.

## Normaaliyhtälö
Onneksi meidän ei tarvitse kokeilla kaikkia mahdollisia suoria ja laskea SSR:ää niille. SSR:n minimointiin on matemaattinen ratkaisu, joka ei ole laskennallisesti raskas.  
Tätä ratkaisua kutsutaan nimellä **normaaliyhtälö**.

Tämä yhtälö antaa meille suoran parametrit, joilla SSR on pienin.  
Etkö ymmärtänyt, miten se toimii? Ei hätää! Kyseessä on melko monimutkainen matematiikka. Sinun ei kuitenkaan tarvitse laskea parametreja itse. Monet kirjastot ovat jo toteuttaneet lineaarisen regressioanalyysin.


Tarkastele yllä olevaa kuvaa. Mikä regressiosuora on parempi?

Lineaarinen regressio on keskeinen käsite ennakoivassa analytiikassa. Sitä käyttävät laajasti data-analyytikot, data scientistit ja tilastotieteilijät, sillä se on helppo rakentaa ja tulkita, mutta riittävän tehokas moniin tehtäviin.

Aloitetaan yksinkertaisimmalla lineaarisen regression mallilla. Opit lineaarisen regression perusidean ja ennusteiden tekemisen Pythonilla.

Useimmat todellisen maailman ennustustehtävät sisältävät useamman kuin yhden muuttujan. Opit käsittelemään lineaarista regressiota useilla muuttujilla.

Suora viiva ei aina kuvaa dataa tarkasti. Opitaan rakentamaan monimutkaisempi malli ennustamista varten. Tätä varten polynominen regressio soveltuu hyvin.

Nyt kun osaat rakentaa useita lineaarisen regressiomalleja, tarvitset tavan valita paras niistä. Tämä on mahdollista mittareiden avulla. Tässä osiossa käsitellään yleisimmin käytettyjä mittareita sekä niihin liittyviä haasteita.

Parametrien Löytäminen

Pienimmän neliösumman menetelmä

Normaaliyhtälö

Kysely

1. Tarkastele yllä olevaa kuvaa. Mikä regressiosuora on parempi?