Leer Verliesfunctie | Neuraal Netwerk Vanaf Nul

Bij het trainen van een neuraal netwerk is het noodzakelijk om te meten hoe goed ons model presteert. Dit gebeurt met behulp van een verliesfunctie, die het verschil kwantificeert tussen de voorspelde uitkomsten en de werkelijke doelwaarden. Het doel van de training is om dit verlies te minimaliseren, zodat onze voorspellingen zo dicht mogelijk bij de werkelijke waarden liggen.

Een van de meest gebruikte verliesfuncties voor binaire classificatie is de cross-entropy loss, die goed werkt met modellen die waarschijnlijkheden als output geven.

Afleiding van Cross-Entropy Loss

Om cross-entropy loss te begrijpen, beginnen we met het maximum likelihood-principe. In een binaire classificatie-probleem is het doel om een model te trainen dat de waarschijnlijkheid $\hat{y}$ schat dat een gegeven invoer tot klasse 1 behoort. Het werkelijke label $y$ kan 0 of 1 zijn.

Een goed model moet de kans maximaliseren om alle trainingsvoorbeelden correct te voorspellen. Dit betekent dat we de likelihoodfunctie willen maximaliseren, die de kans weergeeft om de waargenomen data te zien gegeven de voorspellingen van het model.

Voor een enkel trainingsvoorbeeld, uitgaande van onafhankelijkheid, kan de likelihood als volgt worden geschreven:

P(y|x) = \hat{y}^y(1 - \hat{y})^{1-y}

Deze uitdrukking betekent eenvoudigweg:

Als $y = 1$ , dan $P(y|x) = \hat{y}$ , wat betekent dat we $\hat{y}$ (de kans toegekend aan klasse 1) willen maximaliseren;
Als $y = 0$ , dan $P(y|x) = 1 - \hat{y}$ , wat betekent dat we $1 - \hat{y}$ (de kans toegekend aan klasse 0) willen maximaliseren.

Opmerking

$P(y|x)$ betekent de kans om het werkelijke klasse-label $y$ te observeren gegeven de invoerwaarden $x$ .

Om optimalisatie te vereenvoudigen, nemen we de log-likelihood in plaats van de likelihood zelf (omdat logaritmen producten omzetten in sommen, wat differentiëren eenvoudiger maakt):

\log P(y|x) = y\log(\hat{y}) + (1-y)\log(1-\hat{y})

Omdat het doel maximalisatie is, definiëren we de verliesfunctie als de negatieve log-likelihood, die we willen minimaliseren:

L = -(y\log(\hat{y}) + (1-y)\log(1-\hat{y}))

Dit is de binaire cross-entropy verliesfunctie, vaak gebruikt bij classificatieproblemen.

Aangenomen dat de variabele output $\hat{y}$ voorstelt voor een specifiek trainingsvoorbeeld, en de variabele target $y$ voorstelt voor dit trainingsvoorbeeld, kan deze verliesfunctie als volgt worden geïmplementeerd:

import numpy as np

loss = -(target * np.log(output) + (1 - target) * np.log(1 - output))

Waarom deze formule?

Cross-entropy verlies heeft een duidelijke intuïtieve interpretatie:

Als $y = 1$ , vereenvoudigt het verlies tot $-\log(\hat{y})$ , wat betekent dat het verlies laag is wanneer $\hat{y}$ dicht bij 1 ligt en zeer hoog wanneer $\hat{y}$ dicht bij 0 ligt;
Als $y = 0$ , vereenvoudigt het verlies tot $-\log(1 - \hat{y})$ , wat betekent dat het verlies laag is wanneer $\hat{y}$ dicht bij 0 ligt en zeer hoog wanneer het dicht bij 1 ligt.

Aangezien logaritmen negatief groot worden naarmate hun invoer nul nadert, worden onjuiste voorspellingen zwaar bestraft, waardoor het model wordt aangemoedigd om zelfverzekerde, correcte voorspellingen te doen.

Als meerdere voorbeelden worden doorgegeven tijdens de forward propagatie, wordt het totale verlies berekend als het gemiddelde verlies over alle voorbeelden:

L = -\frac1N \sum_{i=1}^N (y_i\log(\hat{y}_i) + (1-y_i)\log(1-\hat{y}_i))

waarbij $N$ het aantal trainingsvoorbeelden is.

Was alles duidelijk?

Bedankt voor je feedback!

Sectie 2. Hoofdstuk 6

Vraag AI

Vraag wat u wilt of probeer een van de voorgestelde vragen om onze chat te starten.

Suggested prompts:

Can you explain how cross-entropy loss differs from mean squared error?

Why do we use the negative log-likelihood instead of just the likelihood?

Can you show how this loss function is used during neural network training?

Awesome!

Completion rate improved to 4

Veeg om het menu te tonen