Nyt tiedämme, että lineaarinen regressio on vain viiva, joka parhaiten kuvaa dataa. Mutta miten voit tietää, mikä viiva on oikea?

Voit laskea ennustetun arvon ja todellisen tavoitearvon välisen erotuksen jokaiselle harjoitusaineiston datapisteelle.
Näitä erotuksia kutsutaan residuaaleiksi (tai virheiksi). Tavoitteena on tehdä residuaaleista mahdollisimman pieniä.

Ordinary Least Squares

Oletusmenetelmä on Ordinary Least Squares (OLS):
Ota jokainen residuaali, korota se toiseen potenssiin (pääasiassa residuaalin etumerkin poistamiseksi) ja summaa kaikki.
Tätä kutsutaan nimellä SSR (Sum of squared residuals). Tehtävänä on löytää parametrit, jotka minimoivat SSR:n.

Normaaliyhtälö

Onneksi meidän ei tarvitse kokeilla kaikkia mahdollisia suoria ja laskea SSR-arvoja niille. SSR:n minimointiin on olemassa matemaattinen ratkaisu, joka ei ole laskennallisesti kovin raskas.
Tätä ratkaisua kutsutaan normaaliyhtälöksi.

Tämä yhtälö antaa meille suoran parametrit, joilla SSR on pienin mahdollinen.
Etkö ymmärtänyt, miten se toimii? Ei hätää! Kyseessä on melko monimutkainen matematiikka. Sinun ei kuitenkaan tarvitse laskea parametreja itse. Monet kirjastot sisältävät jo valmiiksi toteutetun lineaarisen regressiomallin.

Kysely