Leer Achterwaartse Propagatie | Neuraal Netwerk Vanaf Nul

Achterwaartse propagatie (backprop) is het proces waarbij wordt berekend hoe de verliesfunctie verandert ten opzichte van elke parameter in het netwerk. Het doel is om de parameters bij te werken in de richting die het verlies vermindert.

Om dit te bereiken, gebruiken we het gradient descent algoritme en berekenen we de afgeleiden van het verlies ten opzichte van de pre-activatiewaarden van elke laag (ruwe uitvoerwaarden vóór het toepassen van de activatiefunctie) en propageren we deze achterwaarts.

Elke laag draagt bij aan de uiteindelijke voorspelling, dus de gradiënten moeten op een gestructureerde manier worden berekend:

Voer voorwaartse propagatie uit;
Bereken de afgeleide van het verlies ten opzichte van de output pre-activatie;
Propageren deze afgeleide achterwaarts door de lagen met behulp van de kettingregel;
Bereken gradiënten voor gewichten en biases om deze bij te werken.

Opmerking

Gradiënten vertegenwoordigen de veranderingssnelheid van een functie ten opzichte van zijn invoer, wat betekent dat het de afgeleiden zijn. Ze geven aan hoeveel een kleine wijziging in gewichten, biases of activaties de verliesfunctie beïnvloedt, en sturen het leerproces van het model via gradient descent.

Notatie

Om de uitleg duidelijker te maken, gebruiken we de volgende notatie:

$W^l$ is de gewichtenmatrix van laag $l$ ;
$b^l$ is de vector van biases van laag $l$ ;
$z^l$ is de vector van pre-activaties van laag $l$ ;
$a^l$ is de vector van activaties van laag $l$ ;

Door $a^0$ gelijk te stellen aan $x$ (de invoer), kan voorwaartse propagatie in een perceptron met n lagen worden beschreven als de volgende reeks bewerkingen:

\begin{aligned} a^0 &= x, & &... & &...\\ z^1 &= W^1 a^0 + b^1, & z^l &= W^l a^{l-1} + b^l, & z^n &= W^n a^{n-1} + b^n,\\ a^1 &= f^1(z^1), & a^l &= f^l(z^l), & a^n &= f^n(z^n),\\ &... & &... & \hat y &= a^n. \end{aligned}

Om backpropagation wiskundig te beschrijven, introduceren we de volgende notaties:

$da^l$ : afgeleide van het verlies ten opzichte van de activaties in laag $l$ ;
$dz^l$ : afgeleide van het verlies ten opzichte van de pre-activaties in laag $l$ (voor het toepassen van de activatiefunctie);
$dW^l$ : afgeleide van het verlies ten opzichte van de gewichten in laag $l$ ;
$db^l$ : afgeleide van het verlies ten opzichte van de biases in laag $l$ .

Gradienten berekenen voor de outputlaag

Bij de laatste laag $n$ berekenen we eerst de gradiënt van het verlies ten opzichte van de activaties van de outputlaag, $da^n$ . Vervolgens gebruiken we de kettingregel om de gradiënt van het verlies ten opzichte van de pre-activaties van de outputlaag te berekenen:

dz^n = da^n \odot f'^n(z^n)

Opmerking

Het symbool $\odot$ staat voor elementgewijze vermenigvuldiging. Omdat we werken met vectoren en matrices, staat het gebruikelijke vermenigvuldigingsteken $\cdot$ voor het dotproduct. $f'^n$ is de afgeleide van de activatiefunctie van de outputlaag.

Deze grootheid geeft aan hoe gevoelig de verliesfunctie is voor veranderingen in de pre-activatie van de outputlaag.

Zodra we $\text d z^n$ hebben, berekenen we de gradiënten voor de gewichten en biases:

\begin{aligned} dW^n &= dz^n \cdot (a^{n-1})^T\\ db^n &= dz^n \end{aligned}

waarbij $(a^{n-1})^T$ de getransponeerde vector is van de activatie uit de vorige laag. Aangezien de oorspronkelijke vector een $n_{neurons} \times 1$ vector is, is de getransponeerde vector $1 \times n_{neurons}$ .

Om dit terug te propageren, berekenen we de afgeleide van het verlies ten opzichte van de activaties van de vorige laag:

da^{n-1} = (W^n)^T \cdot dz^n

Gradiënten Propageren naar de Verborgen Lagen

Voor elke verborgen laag $l$ is de procedure hetzelfde. Gegeven $da^l$ :

Bereken de afgeleide van het verlies ten opzichte van de pre-activaties;
Bereken de gradiënten voor de gewichten en biases;
Bereken $da^{l-1}$ om de afgeleide terug te propageren.

\begin{aligned} dz^l &= da^l \odot f'^l(z^l)\\ dW^l &= dz^l \cdot (a^{l-1})^T\\ db^l &= dz^l\\ da^{l-1} &= (W^l)^T \cdot dz^l \end{aligned}

Deze stap wordt herhaald totdat we de invoerlaag bereiken.

Bijwerken van gewichten en biases

Nadat de gradiënten voor alle lagen zijn berekend, worden de gewichten en biases bijgewerkt met behulp van gradient descent:

\begin{aligned} W^l &= W^l - \alpha \cdot dW^l\\ b^l &= b^l - \alpha \cdot db^l \end{aligned}

waarbij $\alpha$ de leersnelheid is, die bepaalt hoeveel we de parameters aanpassen.

Was alles duidelijk?

Bedankt voor je feedback!

Sectie 2. Hoofdstuk 7

Vraag AI

Vraag wat u wilt of probeer een van de voorgestelde vragen om onze chat te starten.

Awesome!

Completion rate improved to 4

Veeg om het menu te tonen

Elke laag draagt bij aan de uiteindelijke voorspelling, dus de gradiënten moeten op een gestructureerde manier worden berekend:

Voer voorwaartse propagatie uit;
Bereken de afgeleide van het verlies ten opzichte van de output pre-activatie;
Propageren deze afgeleide achterwaarts door de lagen met behulp van de kettingregel;
Bereken gradiënten voor gewichten en biases om deze bij te werken.

Opmerking

Notatie

Om de uitleg duidelijker te maken, gebruiken we de volgende notatie:

$W^l$ is de gewichtenmatrix van laag $l$ ;
$b^l$ is de vector van biases van laag $l$ ;
$z^l$ is de vector van pre-activaties van laag $l$ ;
$a^l$ is de vector van activaties van laag $l$ ;

Door $a^0$ gelijk te stellen aan $x$ (de invoer), kan voorwaartse propagatie in een perceptron met n lagen worden beschreven als de volgende reeks bewerkingen:

\begin{aligned} a^0 &= x, & &... & &...\\ z^1 &= W^1 a^0 + b^1, & z^l &= W^l a^{l-1} + b^l, & z^n &= W^n a^{n-1} + b^n,\\ a^1 &= f^1(z^1), & a^l &= f^l(z^l), & a^n &= f^n(z^n),\\ &... & &... & \hat y &= a^n. \end{aligned}

Om backpropagation wiskundig te beschrijven, introduceren we de volgende notaties:

$da^l$ : afgeleide van het verlies ten opzichte van de activaties in laag $l$ ;
$dz^l$ : afgeleide van het verlies ten opzichte van de pre-activaties in laag $l$ (voor het toepassen van de activatiefunctie);
$dW^l$ : afgeleide van het verlies ten opzichte van de gewichten in laag $l$ ;
$db^l$ : afgeleide van het verlies ten opzichte van de biases in laag $l$ .

Gradienten berekenen voor de outputlaag

dz^n = da^n \odot f'^n(z^n)

Opmerking

Deze grootheid geeft aan hoe gevoelig de verliesfunctie is voor veranderingen in de pre-activatie van de outputlaag.

Zodra we $\text d z^n$ hebben, berekenen we de gradiënten voor de gewichten en biases:

\begin{aligned} dW^n &= dz^n \cdot (a^{n-1})^T\\ db^n &= dz^n \end{aligned}

Om dit terug te propageren, berekenen we de afgeleide van het verlies ten opzichte van de activaties van de vorige laag:

da^{n-1} = (W^n)^T \cdot dz^n

Gradiënten Propageren naar de Verborgen Lagen

Voor elke verborgen laag $l$ is de procedure hetzelfde. Gegeven $da^l$ :

Bereken de afgeleide van het verlies ten opzichte van de pre-activaties;
Bereken de gradiënten voor de gewichten en biases;
Bereken $da^{l-1}$ om de afgeleide terug te propageren.

\begin{aligned} dz^l &= da^l \odot f'^l(z^l)\\ dW^l &= dz^l \cdot (a^{l-1})^T\\ db^l &= dz^l\\ da^{l-1} &= (W^l)^T \cdot dz^l \end{aligned}

Deze stap wordt herhaald totdat we de invoerlaag bereiken.

Bijwerken van gewichten en biases

Nadat de gradiënten voor alle lagen zijn berekend, worden de gewichten en biases bijgewerkt met behulp van gradient descent:

\begin{aligned} W^l &= W^l - \alpha \cdot dW^l\\ b^l &= b^l - \alpha \cdot db^l \end{aligned}

waarbij $\alpha$ de leersnelheid is, die bepaalt hoeveel we de parameters aanpassen.

Was alles duidelijk?

Bedankt voor je feedback!

Sectie 2. Hoofdstuk 7