La Regressione Logistica è in realtà un algoritmo di classificazione, nonostante la parola "Regressione" nel suo nome.

Prende il nome dalla Regressione Lineare, ma utilizza una funzione logistica (sigmoide) per convertire l'output in probabilità, consentendo di classificare i dati in categorie invece di prevedere valori continui.

Supponiamo di voler prevedere se una persona andrà in default su un primo prestito (nessuna storia creditizia disponibile).

Nella Regressione Lineare, si costruisce un'equazione per prevedere valori numerici. È possibile utilizzare la stessa equazione per calcolare un "punteggio di affidabilità". Questo punteggio tiene conto di caratteristiche come reddito, durata dell'attuale impiego, rapporto debito/reddito, ecc. Un punteggio di affidabilità più alto indica una minore probabilità di default.

I valori $\beta$ sono i parametri che il modello deve apprendere. Durante l'addestramento, il computer adatta questi valori per ottenere previsioni migliori. Lo fa cercando di minimizzare la differenza tra i risultati previsti e le etichette reali - questa differenza viene misurata tramite la cosiddetta funzione di perdita.

Per trasformare l'output grezzo del modello in un'etichetta di classe (0 o 1), la Regressione Logistica utilizza una funzione sigmoide. Questa funzione prende qualsiasi numero reale e lo comprime in un intervallo tra 0 e 1, rendendolo interpretabile come una probabilità.

La funzione sigmoide è definita come:

Qui, $z$ è il punteggio (chiamato anche logit) che abbiamo calcolato in precedenza.

Date due classi: 1 (una persona andrà in default su un primo prestito) e 0 (una persona non andrà in default su un primo prestito), dopo aver applicato la sigmoide, otteniamo la probabilità che l'istanza appartenga alla classe 1.

Per prendere una decisione finale (0 o 1), si confronta la probabilità con una soglia - solitamente 0,5:

• Se la probabilità è maggiore di 0,5, si predice 1;
• Se è minore o uguale a 0,5, si predice 0.