Het Vinden van de Parameters

Logistische regressie vereist alleen dat de computer de beste parameters $β$ leert. Daarvoor moeten we definiëren wat "beste parameters" betekent. Laten we herinneren hoe het model werkt: het voorspelt de $p$ - kans om tot klasse 1 te behoren:

Waarbij

Het model met goede parameters voorspelt uiteraard een hoge (dicht bij 1) $p$ voor gevallen die daadwerkelijk tot klasse 1 behoren en een lage (dicht bij 0) $p$ voor gevallen met de werkelijke klasse 0.

Om te meten hoe slecht of goed het model is, gebruiken we een kostenfunctie. Bij lineaire regressie gebruikten we MSE (mean squared error) als kostenfunctie. Dit keer wordt een andere functie gebruikt:

Hier staat $p$ voor de kans om tot klasse 1 te behoren, zoals voorspeld door het model, terwijl $y$ de werkelijke doelwaarde aangeeft.

Deze functie straft niet alleen foute voorspellingen, maar houdt ook rekening met het vertrouwen van het model in zijn voorspellingen. Zoals geïllustreerd in de bovenstaande afbeelding, wanneer de waarde van $p$ dicht bij $y$ (de werkelijke doelwaarde) ligt, blijft de kostenfunctie relatief klein, wat aangeeft dat het model met vertrouwen de juiste klasse heeft gekozen. Omgekeerd, als de voorspelling onjuist is, neemt de kostenfunctie exponentieel toe naarmate het vertrouwen van het model in de verkeerde klasse groter wordt.

In de context van binaire classificatie met een sigmoidfunctie wordt de kostenfunctie specifiek binaire cross-entropy verlies genoemd, zoals hierboven weergegeven. Het is belangrijk op te merken dat er ook een algemene vorm bestaat, bekend als cross-entropy verlies (of categorische cross-entropy), die wordt gebruikt voor multi-klasse classificatieproblemen.

Het categorische cross-entropy verlies voor een enkele trainingsinstantie wordt als volgt berekend:

Waarbij

• $C$ het aantal klassen is;
• $y_i$ de werkelijke doelwaarde is (1 als de klasse de juiste klasse is, 0 anders);
• $p_i$ de voorspelde waarschijnlijkheid is dat de instantie tot klasse $i$ behoort.

We berekenen de verliesfunctie voor elke trainingsinstantie en nemen het gemiddelde. Dit gemiddelde wordt de kostenfunctie genoemd. Logistische regressie vindt de parameters $\beta$ die de kostenfunctie minimaliseren.