Lernen Verlustfunktion | Neural Network von Grund Auf

Beim Training eines neuronalen Netzes wird eine Methode benötigt, um die Leistungsfähigkeit des Modells zu bewerten. Dies geschieht mithilfe einer Verlustfunktion, die den Unterschied zwischen den vorhergesagten Ausgaben und den tatsächlichen Zielwerten quantifiziert. Das Ziel des Trainings besteht darin, diesen Verlust zu minimieren, sodass die Vorhersagen möglichst nahe an den tatsächlichen Werten liegen.

Eine der am häufigsten verwendeten Verlustfunktionen für die binäre Klassifikation ist der Kreuzentropie-Verlust, der besonders gut mit Modellen funktioniert, die Wahrscheinlichkeiten als Ausgabe liefern.

Herleitung des Kreuzentropie-Verlusts

Um den Kreuzentropie-Verlust zu verstehen, beginnt man mit dem Maximum-Likelihood-Prinzip. Bei einem binären Klassifikationsproblem besteht das Ziel darin, ein Modell zu trainieren, das die Wahrscheinlichkeit $\hat{y}$ schätzt, dass ein gegebener Input zur Klasse 1 gehört. Das tatsächliche Label $y$ kann entweder 0 oder 1 sein.

Ein gutes Modell sollte die Wahrscheinlichkeit maximieren, alle Trainingsbeispiele korrekt vorherzusagen. Das bedeutet, dass die Likelihood-Funktion maximiert werden soll, die die Wahrscheinlichkeit beschreibt, die beobachteten Daten unter den Vorhersagen des Modells zu sehen.

Für ein einzelnes Trainingsbeispiel, unter der Annahme der Unabhängigkeit, kann die Likelihood wie folgt geschrieben werden:

P(y|x) = \hat{y}^y(1 - \hat{y})^{1-y}

Dieser Ausdruck bedeutet einfach:

Wenn $y = 1$ , dann $P(y|x) = \hat{y}$ , das heißt, $\hat{y}$ (die Wahrscheinlichkeit für Klasse 1) soll maximiert werden;
Wenn $y = 0$ , dann $P(y|x) = 1 - \hat{y}$ , das heißt, $1 - \hat{y}$ (die Wahrscheinlichkeit für Klasse 0) soll maximiert werden.

Hinweis

$P(y|x)$ bezeichnet die Wahrscheinlichkeit, das tatsächliche Klassenlabel $y$ unter den Eingaben $x$ zu beobachten.

Um die Optimierung zu erleichtern, wird anstelle der Likelihood die Log-Likelihood verwendet (da Logarithmen Produkte in Summen umwandeln und so die Ableitung vereinfachen):

\log P(y|x) = y\log(\hat{y}) + (1-y)\log(1-\hat{y})

Da das Ziel die Maximierung ist, wird die Verlustfunktion als negative Log-Likelihood definiert, die minimiert werden soll:

L = -(y\log(\hat{y}) + (1-y)\log(1-\hat{y}))

Dies ist die binäre Kreuzentropie-Verlustfunktion, die häufig bei Klassifikationsproblemen verwendet wird.

Angenommen, die Variable output repräsentiert $\hat{y}$ für ein bestimmtes Trainingsbeispiel und die Variable target repräsentiert $y$ für dieses Trainingsbeispiel, kann diese Verlustfunktion wie folgt implementiert werden:

import numpy as np

loss = -(target * np.log(output) + (1 - target) * np.log(1 - output))

Warum diese Formel?

Die Kreuzentropie-Verlustfunktion hat eine klare intuitive Interpretation:

Wenn $y = 1$ , vereinfacht sich der Verlust zu $-\log(\hat{y})$ , das bedeutet, der Verlust ist gering, wenn $\hat{y}$ nahe bei 1 liegt, und sehr hoch, wenn $\hat{y}$ nahe bei 0 liegt;
Wenn $y = 0$ , vereinfacht sich der Verlust zu $-\log(1 - \hat{y})$ , das bedeutet, der Verlust ist gering, wenn $\hat{y}$ nahe bei 0 liegt, und sehr hoch, wenn er nahe bei 1 liegt.

Da Logarithmen negativ groß werden, wenn ihr Argument gegen Null geht, werden falsche Vorhersagen stark bestraft, was das Modell dazu anregt, selbstbewusste und korrekte Vorhersagen zu treffen.

Werden mehrere Beispiele während der Vorwärtspropagation übergeben, wird der Gesamtverlust als durchschnittlicher Verlust über alle Beispiele berechnet:

L = -\frac1N \sum_{i=1}^N (y_i\log(\hat{y}_i) + (1-y_i)\log(1-\hat{y}_i))

wobei $N$ die Anzahl der Trainingsbeispiele ist.

War alles klar?

Danke für Ihr Feedback!

Abschnitt 2. Kapitel 6

Fragen Sie AI

Fragen Sie alles oder probieren Sie eine der vorgeschlagenen Fragen, um unser Gespräch zu beginnen

Awesome!

Completion rate improved to 4

Swipe um das Menü anzuzeigen