Het Vinden van de Parameters
Logistische regressie vereist alleen dat de computer de beste parameters β leert. Daarvoor moeten we definiëren wat "beste parameters" betekent. Laten we herinneren hoe het model werkt: het voorspelt de p - kans om tot klasse 1 te behoren:
p=σ(z)=σ(β0+β1x1+...)Waarbij
σ(z)=1+e−z1Het model met goede parameters voorspelt uiteraard een hoge (dicht bij 1) p voor gevallen die daadwerkelijk tot klasse 1 behoren en een lage (dicht bij 0) p voor gevallen met de werkelijke klasse 0.
Om te meten hoe slecht of goed het model is, gebruiken we een kostenfunctie. Bij lineaire regressie gebruikten we MSE (mean squared error) als kostenfunctie. Deze keer wordt een andere functie gebruikt:
Hier stelt p de kans voor om tot klasse 1 te behoren, zoals voorspeld door het model, terwijl y de werkelijke doelwaarde aanduidt.
Deze functie straft niet alleen onjuiste voorspellingen, maar houdt ook rekening met het vertrouwen van het model in zijn voorspellingen. Zoals geïllustreerd in de bovenstaande afbeelding, wanneer de waarde van p dicht bij y (de werkelijke doelwaarde) ligt, blijft de kostenfunctie relatief klein, wat aangeeft dat het model met vertrouwen de juiste klasse heeft gekozen. Omgekeerd, als de voorspelling onjuist is, neemt de kostenfunctie exponentieel toe naarmate het vertrouwen van het model in de onjuiste klasse toeneemt.
In de context van binaire classificatie met een sigmoidfunctie wordt de kostenfunctie die wordt gebruikt specifiek binaire cross-entropy loss genoemd, zoals hierboven getoond. Het is belangrijk op te merken dat er ook een algemene vorm bestaat, bekend als cross-entropy loss (of categorische cross-entropy), die wordt gebruikt voor multi-klasse classificatieproblemen.
De categorische cross-entropy loss voor een enkele trainingsinstantie wordt als volgt berekend:
Categorical Cross-Entropy Loss=−i=1∑Cyilog(pi)Waarbij
- C het aantal klassen is;
- yi de werkelijke doelwaarde is (1 als de klasse de juiste klasse is, anders 0);
- pi de voorspelde kans is dat de instantie tot klasse i behoort.
We berekenen de verliesfunctie voor elke trainingsinstantie en nemen het gemiddelde. Dit gemiddelde wordt de kostenfunctie genoemd. Logistische regressie vindt de parameters β die de kostenfunctie minimaliseren.
Bedankt voor je feedback!
Vraag AI
Vraag AI
Vraag wat u wilt of probeer een van de voorgestelde vragen om onze chat te starten.
Can you explain why binary cross-entropy is preferred over MSE for logistic regression?
What does the sigmoid function do in logistic regression?
How does the cost function help improve the model's predictions?
Awesome!
Completion rate improved to 4.17Het Vinden van de Parameters
Veeg om het menu te tonen
Logistische regressie vereist alleen dat de computer de beste parameters β leert. Daarvoor moeten we definiëren wat "beste parameters" betekent. Laten we herinneren hoe het model werkt: het voorspelt de p - kans om tot klasse 1 te behoren:
p=σ(z)=σ(β0+β1x1+...)Waarbij
σ(z)=1+e−z1Het model met goede parameters voorspelt uiteraard een hoge (dicht bij 1) p voor gevallen die daadwerkelijk tot klasse 1 behoren en een lage (dicht bij 0) p voor gevallen met de werkelijke klasse 0.
Om te meten hoe slecht of goed het model is, gebruiken we een kostenfunctie. Bij lineaire regressie gebruikten we MSE (mean squared error) als kostenfunctie. Deze keer wordt een andere functie gebruikt:
Hier stelt p de kans voor om tot klasse 1 te behoren, zoals voorspeld door het model, terwijl y de werkelijke doelwaarde aanduidt.
Deze functie straft niet alleen onjuiste voorspellingen, maar houdt ook rekening met het vertrouwen van het model in zijn voorspellingen. Zoals geïllustreerd in de bovenstaande afbeelding, wanneer de waarde van p dicht bij y (de werkelijke doelwaarde) ligt, blijft de kostenfunctie relatief klein, wat aangeeft dat het model met vertrouwen de juiste klasse heeft gekozen. Omgekeerd, als de voorspelling onjuist is, neemt de kostenfunctie exponentieel toe naarmate het vertrouwen van het model in de onjuiste klasse toeneemt.
In de context van binaire classificatie met een sigmoidfunctie wordt de kostenfunctie die wordt gebruikt specifiek binaire cross-entropy loss genoemd, zoals hierboven getoond. Het is belangrijk op te merken dat er ook een algemene vorm bestaat, bekend als cross-entropy loss (of categorische cross-entropy), die wordt gebruikt voor multi-klasse classificatieproblemen.
De categorische cross-entropy loss voor een enkele trainingsinstantie wordt als volgt berekend:
Categorical Cross-Entropy Loss=−i=1∑Cyilog(pi)Waarbij
- C het aantal klassen is;
- yi de werkelijke doelwaarde is (1 als de klasse de juiste klasse is, anders 0);
- pi de voorspelde kans is dat de instantie tot klasse i behoort.
We berekenen de verliesfunctie voor elke trainingsinstantie en nemen het gemiddelde. Dit gemiddelde wordt de kostenfunctie genoemd. Logistische regressie vindt de parameters β die de kostenfunctie minimaliseren.
Bedankt voor je feedback!
