Mittarit

Mallia rakennettaessa tarvitaan metriikka, joka mittaa, kuinka hyvin malli sopii dataan. Metriikka antaa numeerisen arvon, joka kuvaa mallin suorituskykyä. Tässä luvussa keskitytään yleisimpiin metriikoihin.

Käytämme seuraavaa notaatiota:

Olemme jo tuttuja yhdestä metriikasta, SSR (Sum of Squared Residuals), jota minimoimme optimaalisten parametrien löytämiseksi.
Merkinnöillämme SSR:n kaava voidaan esittää seuraavasti:

tai yhtä lailla:

Tämä metriikka toimi vain, kun malleissa käytettiin samaa määrää havaintoja. Se ei osoita, kuinka hyvin malli todellisuudessa suoriutuu. Kuvittele kaksi mallia, jotka on koulutettu erikokoisilla aineistoilla.

Ensimmäinen malli sopii visuaalisesti paremmin, mutta sillä on suurempi SSR, koska siinä on enemmän pisteitä, joten summa kasvaa, vaikka jäännösten keskiarvo olisi pienempi. Käyttämällä jäännösten neliöiden keskiarvoa tämä korjataan — Mean Squared Error (MSE).

MSE

tai yhtä lailla:

Laske MSE NumPyn avulla:

mse = np.mean((y_true - y_pred)**2)

Tai Scikit-learnilla:

from sklearn.metrics import mean_squared_error
mse = mean_squared_error(y_true, y_pred)

MSE on korotettu toiseen potenssiin, mikä vaikeuttaa tulkintaa. Jos MSE on 49 dollaria², haluamme virheen dollareina. Ottamalla neliöjuuren saadaan 7 — Root Mean Squared Error (RMSE).

RMSE

Laske RMSE seuraavasti:

rmse = np.sqrt(np.mean((y_true - y_pred)**2))

Tai Scikit-learn-kirjastolla:

rmse = mean_squared_error(y_true, y_pred, squared=False)

MAE

Jäännösten neliöimisen sijaan voimme ottaa niiden itseisarvot — tämä antaa keskimääräisen itseisarvovirheen (MAE).

tai yhtä lailla

MAE käyttäytyy kuten MSE, mutta käsittelee suuria virheitä lempeämmin. Koska se käyttää itseisarvoja, se on kestävämpi poikkeaville arvoille, mikä tekee siitä hyödyllisen silloin, kun äärimmäiset arvot vääristävät aineistoa.

MAE:n laskeminen:

mae = np.mean(np.fabs(y_true - y_pred))

Tai:

from sklearn.metrics import mean_absolute_error
mae = mean_absolute_error(y_true, y_pred)

SSR auttoi meitä johtamaan normaalin yhtälön, mutta mitä tahansa metriikkaa voidaan käyttää mallien vertailussa.

Nyt voit varmasti todeta, että toinen malli on parempi, koska kaikki sen mittarit ovat pienempiä. Kuitenkin pienemmät mittarit eivät aina tarkoita, että malli on parempi.