Lernen Rückwärtspropagation | Neural Network von Grund Auf

Die Rückwärtsausbreitung (Backpropagation) ist der Prozess, bei dem berechnet wird, wie sich die Verlustfunktion in Bezug auf jeden Parameter im Netzwerk ändert. Das Ziel ist es, die Parameter in die Richtung zu aktualisieren, die den Verlust verringert.

Dazu wird der Gradientenabstiegsalgorithmus verwendet und die Ableitungen des Verlusts in Bezug auf die Präaktivierungswerte jeder Schicht (Rohwerte vor Anwendung der Aktivierungsfunktion) berechnet und rückwärts propagiert.

Jede Schicht trägt zur endgültigen Vorhersage bei, daher müssen die Gradienten strukturiert berechnet werden:

Durchführung der Vorwärtsausbreitung;
Berechnung der Ableitung des Verlusts in Bezug auf die Präaktivierung des Ausgangs;
Rückpropagieren dieser Ableitung durch die Schichten mithilfe der Kettenregel;
Berechnung der Gradienten für Gewichte und Biases zur Aktualisierung.

Hinweis

Gradienten stellen die Änderungsrate einer Funktion in Bezug auf ihre Eingaben dar, das heißt, sie sind deren Ableitungen. Sie zeigen an, wie stark eine kleine Änderung der Gewichte, Biases oder Aktivierungen die Verlustfunktion beeinflusst und steuern so den Lernprozess des Modells durch den Gradientenabstieg.

Notation

Zur besseren Verständlichkeit verwenden wir folgende Notation:

$W^l$ ist die Gewichtsmatrix der Schicht $l$ ;
$b^l$ ist der Bias-Vektor der Schicht $l$ ;
$z^l$ ist der Präaktivierungsvektor der Schicht $l$ ;
$a^l$ ist der Aktivierungsvektor der Schicht $l$ ;

Wenn $a^0$ auf $x$ (die Eingaben) gesetzt wird, kann die Vorwärtsausbreitung in einem Perzeptron mit n Schichten durch folgende Operationsfolge beschrieben werden:

\begin{aligned} a^0 &= x, & &... & &...\\ z^1 &= W^1 a^0 + b^1, & z^l &= W^l a^{l-1} + b^l, & z^n &= W^n a^{n-1} + b^n,\\ a^1 &= f^1(z^1), & a^l &= f^l(z^l), & a^n &= f^n(z^n),\\ &... & &... & \hat y &= a^n. \end{aligned}

Um die Rückpropagation mathematisch zu beschreiben, führen wir die folgenden Notationen ein:

$da^l$ : Ableitung des Verlusts bezüglich der Aktivierungen in Schicht $l$ ;
$dz^l$ : Ableitung des Verlusts bezüglich der Präaktivierungen in Schicht $l$ (vor Anwendung der Aktivierungsfunktion);
$dW^l$ : Ableitung des Verlusts bezüglich der Gewichte in Schicht $l$ ;
$db^l$ : Ableitung des Verlusts bezüglich der Biases in Schicht $l$ .

Gradientenberechnung für die Ausgabeschicht

In der letzten Schicht $n$ berechnen wir zunächst den Gradienten des Verlusts bezüglich der Aktivierungen der Ausgabeschicht, $da^n$ . Anschließend berechnen wir mit der Kettenregel den Gradienten des Verlusts bezüglich der Präaktivierungen der Ausgabeschicht:

dz^n = da^n \odot f'^n(z^n)

Hinweis

Das Symbol $\odot$ steht für elementweise Multiplikation. Da wir mit Vektoren und Matrizen arbeiten, steht das übliche Multiplikationssymbol $\cdot$ stattdessen für das Skalarprodukt. $f'^n$ ist die Ableitung der Aktivierungsfunktion der Ausgabeschicht.

Diese Größe gibt an, wie empfindlich die Verlustfunktion auf Änderungen der Voraktivierung der Ausgabeschicht reagiert.

Sobald $\text d z^n$ berechnet wurde, werden die Gradienten für die Gewichte und Bias berechnet:

\begin{aligned} dW^n &= dz^n \cdot (a^{n-1})^T\\ db^n &= dz^n \end{aligned}

Dabei ist $(a^{n-1})^T$ der transponierte Vektor der Aktivierung aus der vorherigen Schicht. Da der ursprüngliche Vektor ein $n_{neurons} \times 1$ Vektor ist, ist der transponierte Vektor ein $1 \times n_{neurons}$ Vektor.

Um dies rückwärts zu propagieren, wird die Ableitung des Verlusts bezüglich der Aktivierungen der vorherigen Schicht berechnet:

da^{n-1} = (W^n)^T \cdot dz^n

Gradientenweitergabe an die versteckten Schichten

Für jede versteckte Schicht $l$ ist das Vorgehen identisch. Gegeben $da^l$ :

Berechnung der Ableitung des Verlusts bezüglich der Voraktivierungen;
Berechnung der Gradienten für die Gewichte und Bias;
Berechnung von $da^{l-1}$ zur Rückpropagierung der Ableitung.

\begin{aligned} dz^l &= da^l \odot f'^l(z^l)\\ dW^l &= dz^l \cdot (a^{l-1})^T\\ db^l &= dz^l\\ da^{l-1} &= (W^l)^T \cdot dz^l \end{aligned}

Dieser Schritt wird wiederholt, bis die Eingabeschicht erreicht ist.

Aktualisierung von Gewichten und Biases

Nachdem die Gradienten für alle Schichten berechnet wurden, erfolgt die Aktualisierung der Gewichte und Biases mittels Gradientenabstieg:

\begin{aligned} W^l &= W^l - \alpha \cdot dW^l\\ b^l &= b^l - \alpha \cdot db^l \end{aligned}

wobei $\alpha$ die Lernrate ist, die bestimmt, wie stark die Parameter angepasst werden.

War alles klar?

Danke für Ihr Feedback!

Abschnitt 2. Kapitel 7

Fragen Sie AI

Fragen Sie alles oder probieren Sie eine der vorgeschlagenen Fragen, um unser Gespräch zu beginnen

Awesome!

Completion rate improved to 4

Swipe um das Menü anzuzeigen

Jede Schicht trägt zur endgültigen Vorhersage bei, daher müssen die Gradienten strukturiert berechnet werden:

Durchführung der Vorwärtsausbreitung;
Berechnung der Ableitung des Verlusts in Bezug auf die Präaktivierung des Ausgangs;
Rückpropagieren dieser Ableitung durch die Schichten mithilfe der Kettenregel;
Berechnung der Gradienten für Gewichte und Biases zur Aktualisierung.

Hinweis

Notation

Zur besseren Verständlichkeit verwenden wir folgende Notation:

$W^l$ ist die Gewichtsmatrix der Schicht $l$ ;
$b^l$ ist der Bias-Vektor der Schicht $l$ ;
$z^l$ ist der Präaktivierungsvektor der Schicht $l$ ;
$a^l$ ist der Aktivierungsvektor der Schicht $l$ ;

Wenn $a^0$ auf $x$ (die Eingaben) gesetzt wird, kann die Vorwärtsausbreitung in einem Perzeptron mit n Schichten durch folgende Operationsfolge beschrieben werden:

\begin{aligned} a^0 &= x, & &... & &...\\ z^1 &= W^1 a^0 + b^1, & z^l &= W^l a^{l-1} + b^l, & z^n &= W^n a^{n-1} + b^n,\\ a^1 &= f^1(z^1), & a^l &= f^l(z^l), & a^n &= f^n(z^n),\\ &... & &... & \hat y &= a^n. \end{aligned}

Um die Rückpropagation mathematisch zu beschreiben, führen wir die folgenden Notationen ein:

$da^l$ : Ableitung des Verlusts bezüglich der Aktivierungen in Schicht $l$ ;
$dz^l$ : Ableitung des Verlusts bezüglich der Präaktivierungen in Schicht $l$ (vor Anwendung der Aktivierungsfunktion);
$dW^l$ : Ableitung des Verlusts bezüglich der Gewichte in Schicht $l$ ;
$db^l$ : Ableitung des Verlusts bezüglich der Biases in Schicht $l$ .

Gradientenberechnung für die Ausgabeschicht

dz^n = da^n \odot f'^n(z^n)

Hinweis

Diese Größe gibt an, wie empfindlich die Verlustfunktion auf Änderungen der Voraktivierung der Ausgabeschicht reagiert.

Sobald $\text d z^n$ berechnet wurde, werden die Gradienten für die Gewichte und Bias berechnet:

\begin{aligned} dW^n &= dz^n \cdot (a^{n-1})^T\\ db^n &= dz^n \end{aligned}

Um dies rückwärts zu propagieren, wird die Ableitung des Verlusts bezüglich der Aktivierungen der vorherigen Schicht berechnet:

da^{n-1} = (W^n)^T \cdot dz^n

Gradientenweitergabe an die versteckten Schichten

Für jede versteckte Schicht $l$ ist das Vorgehen identisch. Gegeben $da^l$ :

Berechnung der Ableitung des Verlusts bezüglich der Voraktivierungen;
Berechnung der Gradienten für die Gewichte und Bias;
Berechnung von $da^{l-1}$ zur Rückpropagierung der Ableitung.

\begin{aligned} dz^l &= da^l \odot f'^l(z^l)\\ dW^l &= dz^l \cdot (a^{l-1})^T\\ db^l &= dz^l\\ da^{l-1} &= (W^l)^T \cdot dz^l \end{aligned}

Dieser Schritt wird wiederholt, bis die Eingabeschicht erreicht ist.

Aktualisierung von Gewichten und Biases

Nachdem die Gradienten für alle Schichten berechnet wurden, erfolgt die Aktualisierung der Gewichte und Biases mittels Gradientenabstieg:

\begin{aligned} W^l &= W^l - \alpha \cdot dW^l\\ b^l &= b^l - \alpha \cdot db^l \end{aligned}

wobei $\alpha$ die Lernrate ist, die bestimmt, wie stark die Parameter angepasst werden.

War alles klar?

Danke für Ihr Feedback!

Abschnitt 2. Kapitel 7