Ora sappiamo che la Regressione Lineare è semplicemente una retta che si adatta meglio ai dati. Ma come si può determinare quale sia quella corretta?

È possibile calcolare la differenza tra il valore previsto e il valore target effettivo per ciascun punto dati nel set di addestramento.
Queste differenze sono chiamate residui (o errori). L'obiettivo è rendere i residui il più piccoli possibile.

Minimi Quadrati Ordinari

L'approccio predefinito è il metodo dei Minimi Quadrati Ordinari (OLS):
Si prende ciascun residuo, lo si eleva al quadrato (principalmente per eliminare il segno del residuo) e si sommano tutti.
Questo è chiamato SSR (Somma dei residui quadratici). Il compito è trovare i parametri che minimizzano l'SSR.

Equazione Normale

Fortunatamente, non è necessario provare tutte le rette e calcolare l'SSR per ciascuna di esse. Il compito di minimizzare l'SSR ha una soluzione matematica che non è molto onerosa dal punto di vista computazionale.
Questa soluzione è chiamata Equazione Normale.

Dove:

• $\beta_0, \beta_1, \dots, \beta_n$ – sono i parametri del modello;

• $X$ – è un array di valori delle caratteristiche dal set di addestramento;
• $X^k$ – è la potenza elemento per elemento $k$ dell'array $X$;
• $y_{\text{true}}$ – è un array di valori target dal set di addestramento.

Questa equazione fornisce i parametri di una retta con il minimo SSR.
Non hai capito come funziona? Nessun problema! Si tratta di matematica piuttosto complessa. Tuttavia, non è necessario calcolare i parametri manualmente. Molte librerie hanno già implementato la regressione lineare.

Quiz