Trovare i Parametri

La regressione logistica richiede solo che il computer apprenda i parametri ottimali $β$. Per questo, è necessario definire cosa si intende per "parametri ottimali". Ricordiamo come funziona il modello: esso predice la probabilità $p$ di appartenenza alla classe 1:

Dove

Ovviamente, un modello con parametri adeguati è quello che predice un valore $p$ alto (vicino a 1) per le istanze che appartengono effettivamente alla classe 1 e un valore $p$ basso (vicino a 0) per le istanze che appartengono effettivamente alla classe 0.

Per valutare quanto il modello sia efficace o meno, si utilizza una funzione di costo. Nella regressione lineare, si utilizzava la MSE (errore quadratico medio) come funzione di costo. In questo caso, viene utilizzata una funzione diversa:

Qui $p$ rappresenta la probabilità di appartenenza alla classe 1, come previsto dal modello, mentre $y$ indica il valore target reale.

Questa funzione non solo penalizza le previsioni errate, ma tiene anche conto della sicurezza del modello nelle sue previsioni. Come illustrato nell'immagine sopra, quando il valore di $p$ è vicino a $y$ (il target reale), la funzione di costo rimane relativamente bassa, indicando che il modello ha selezionato con sicurezza la classe corretta. Al contrario, se la previsione è errata, la funzione di costo aumenta esponenzialmente man mano che cresce la sicurezza del modello nella classe sbagliata.

Nel contesto della classificazione binaria con una funzione sigmoide, la funzione di costo utilizzata è specificamente chiamata perdita binaria di entropia incrociata (binary cross-entropy loss), come mostrato sopra. È importante notare che esiste anche una forma generale nota come perdita di entropia incrociata (cross-entropy loss, o entropia incrociata categoriale) utilizzata per problemi di classificazione multi-classe.

La perdita di entropia incrociata categoriale per una singola istanza di addestramento si calcola come segue:

Dove

• $C$ è il numero di classi;
• $y_i$ è il valore target effettivo (1 se la classe è quella corretta, 0 altrimenti);
• $p_i$ è la probabilità prevista che l'istanza appartenga alla classe $i$.

Si calcola la funzione di perdita per ogni istanza di addestramento e si prende la media. Questa media è chiamata funzione di costo. La regressione logistica trova i parametri $\beta$ che minimizzano la funzione di costo.