Wat Is Logistische Regressie

Logistische regressie is eigenlijk een classificatie-algoritme, ondanks het woord "Regressie" in de naam.

De naam komt voort uit het feit dat het gebaseerd is op lineaire regressie, maar het gebruikt een logistische (sigmoïde) functie om de output om te zetten in kansen, waardoor het data kan classificeren in categorieën in plaats van het voorspellen van continue waarden.

Stel dat je wilt voorspellen of een persoon in gebreke zal blijven op een eerste lening (geen kredietgeschiedenis beschikbaar).

Bij lineaire regressie bouwen we een vergelijking om numerieke waarden te voorspellen. We kunnen dezelfde vergelijking gebruiken om een "betrouwbaarheidsscore" te berekenen. Deze houdt rekening met kenmerken zoals inkomen, duur van het huidige dienstverband, schuld-inkomensverhouding, enzovoort. Een hogere betrouwbaarheidsscore betekent een lagere kans op wanbetaling.

De $\beta$-waarden zijn de parameters die het model moet leren. Tijdens de training past de computer deze waarden aan om betere voorspellingen te doen. Dit gebeurt door te proberen het verschil te minimaliseren tussen de voorspelde resultaten en de werkelijke labels – dit verschil wordt gemeten met iets dat de verliesfunctie wordt genoemd.

Om de ruwe uitvoer van het model om te zetten naar een klassenlabel (0 of 1), gebruikt Logistic Regression een sigmoïdefunctie. Deze functie neemt elk reëel getal en perst het in een bereik tussen 0 en 1, waardoor het geïnterpreteerd kan worden als een waarschijnlijkheid.

De sigmoïdefunctie is gedefinieerd als:

Hier is $z$ de score (ook wel de logit genoemd) die we eerder hebben berekend.

Gegeven twee klassen: 1 (een persoon zal in gebreke blijven bij een eerste lening) en 0 (een persoon zal niet in gebreke blijven bij een eerste lening), krijgen we na het toepassen van de sigmoid de waarschijnlijkheid dat het voorbeeld tot klasse 1 behoort.

Om een definitieve beslissing te nemen (0 of 1), vergelijken we de kans met een drempelwaarde - meestal 0,5:

• Als de kans groter is dan 0,5, voorspellen we 1;
• Als deze kleiner dan of gelijk aan 0,5 is, voorspellen we 0.