Lära Bakåtriktad Spridning | Neuronnätverk Från Grunden

Bakåtriktad propagiering (backprop) är processen där man beräknar hur förlustfunktionen förändras med avseende på varje parameter i nätverket. Målet är att uppdatera parametrarna i den riktning som minskar förlusten.

För att uppnå detta används algoritmen gradientnedstigning och man beräknar derivatorna av förlusten med avseende på varje lags pre-aktiveringsvärden (råa utdata innan aktiveringsfunktionen appliceras) och propagerar dessa bakåt.

Varje lager bidrar till den slutliga prediktionen, så gradienterna måste beräknas på ett strukturerat sätt:

Utför framåtriktad propagiering;
Beräkna derivatan av förlusten med avseende på utdata pre-aktivering;
Propagera denna derivata bakåt genom lagren med hjälp av kedjeregeln;
Beräkna gradienter för vikter och biaser för att uppdatera dem.

Notering

Gradienter representerar ändringshastigheten för en funktion med avseende på dess indata, vilket innebär att de är dess derivator. De visar hur mycket en liten förändring i vikter, biaser eller aktiveringar påverkar förlustfunktionen, och vägleder modellens inlärningsprocess genom gradientnedstigning.

Notation

För att göra förklaringen tydligare används följande notation:

$W^l$ är viktmatrisen för lager $l$ ;
$b^l$ är vektorn av biaser för lager $l$ ;
$z^l$ är vektorn av pre-aktiveringar för lager $l$ ;
$a^l$ är vektorn av aktiveringar för lager $l$ ;

Genom att sätta $a^0$ till $x$ (indatan), kan framåtriktad propagiering i en perceptron med n lager beskrivas som följande sekvens av operationer:

\begin{aligned} a^0 &= x, & &... & &...\\ z^1 &= W^1 a^0 + b^1, & z^l &= W^l a^{l-1} + b^l, & z^n &= W^n a^{n-1} + b^n,\\ a^1 &= f^1(z^1), & a^l &= f^l(z^l), & a^n &= f^n(z^n),\\ &... & &... & \hat y &= a^n. \end{aligned}

För att beskriva backpropagation matematiskt introduceras följande notationer:

$da^l$ : derivatan av förlusten med avseende på aktiveringar i lager $l$ ;
$dz^l$ : derivatan av förlusten med avseende på pre-aktiveringar i lager $l$ (innan aktiveringsfunktionen appliceras);
$dW^l$ : derivatan av förlusten med avseende på vikter i lager $l$ ;
$db^l$ : derivatan av förlusten med avseende på bias i lager $l$ .

Beräkning av gradienter för utgångslagret

I det sista lagret $n$ beräknas först gradienten av förlusten med avseende på aktiveringar i utgångslagret, $da^n$ . Därefter, med hjälp av kedjeregeln, beräknas gradienten av förlusten med avseende på utgångslagrets pre-aktiveringar:

dz^n = da^n \odot f'^n(z^n)

Notering

Symbolen $\odot$ representerar elementvis multiplikation. Eftersom vi arbetar med vektorer och matriser representerar den vanliga multiplikationssymbolen $\cdot$ istället skalärprodukt. $f'^n$ är derivatan av aktiveringsfunktionen för utgångslagret.

Denna kvantitet representerar hur känslig förlustfunktionen är för förändringar i utgångslagrets pre-aktivering.

När vi har $\text d z^n$ , beräknar vi gradienterna för vikterna och biaserna:

\begin{aligned} dW^n &= dz^n \cdot (a^{n-1})^T\\ db^n &= dz^n \end{aligned}

där $(a^{n-1})^T$ är den transponerade vektorn av aktiveringen från föregående lager. Eftersom den ursprungliga vektorn är en $n_{neurons} \times 1$ vektor, är den transponerade vektorn $1 \times n_{neurons}$ .

För att föra detta bakåt beräknar vi derivatan av förlusten med avseende på aktiveringen i föregående lager:

da^{n-1} = (W^n)^T \cdot dz^n

Propagering av gradienter till de dolda lagren

För varje dolt lager $l$ är proceduren densamma. Givet $da^l$ :

Beräkna derivatan av förlusten med avseende på pre-aktiveringarna;
Beräkna gradienterna för vikterna och biaserna;
Beräkna $da^{l-1}$ för att föra derivatan bakåt.

\begin{aligned} dz^l &= da^l \odot f'^l(z^l)\\ dW^l &= dz^l \cdot (a^{l-1})^T\\ db^l &= dz^l\\ da^{l-1} &= (W^l)^T \cdot dz^l \end{aligned}

Detta steg upprepas tills vi når inmatningslagret.

Uppdatering av vikter och bias

När vi har beräknat gradienterna för alla lager uppdaterar vi vikterna och bias med hjälp av gradientnedstigning:

\begin{aligned} W^l &= W^l - \alpha \cdot dW^l\\ b^l &= b^l - \alpha \cdot db^l \end{aligned}

där $\alpha$ är inlärningshastigheten, som styr hur mycket vi justerar parametrarna.

Var allt tydligt?

Tack för dina kommentarer!

Avsnitt 2. Kapitel 7

Fråga AI

Fråga vad du vill eller prova någon av de föreslagna frågorna för att starta vårt samtal

Suggested prompts:

Can you explain how the chain rule is applied in backpropagation?

What is the difference between pre-activations and activations?

Can you provide a step-by-step example of backpropagation for a simple network?

Awesome!

Completion rate improved to 4

Svep för att visa menyn

Varje lager bidrar till den slutliga prediktionen, så gradienterna måste beräknas på ett strukturerat sätt:

Utför framåtriktad propagiering;
Beräkna derivatan av förlusten med avseende på utdata pre-aktivering;
Propagera denna derivata bakåt genom lagren med hjälp av kedjeregeln;
Beräkna gradienter för vikter och biaser för att uppdatera dem.

Notering

Notation

För att göra förklaringen tydligare används följande notation:

$W^l$ är viktmatrisen för lager $l$ ;
$b^l$ är vektorn av biaser för lager $l$ ;
$z^l$ är vektorn av pre-aktiveringar för lager $l$ ;
$a^l$ är vektorn av aktiveringar för lager $l$ ;

Genom att sätta $a^0$ till $x$ (indatan), kan framåtriktad propagiering i en perceptron med n lager beskrivas som följande sekvens av operationer:

\begin{aligned} a^0 &= x, & &... & &...\\ z^1 &= W^1 a^0 + b^1, & z^l &= W^l a^{l-1} + b^l, & z^n &= W^n a^{n-1} + b^n,\\ a^1 &= f^1(z^1), & a^l &= f^l(z^l), & a^n &= f^n(z^n),\\ &... & &... & \hat y &= a^n. \end{aligned}

För att beskriva backpropagation matematiskt introduceras följande notationer:

$da^l$ : derivatan av förlusten med avseende på aktiveringar i lager $l$ ;
$dz^l$ : derivatan av förlusten med avseende på pre-aktiveringar i lager $l$ (innan aktiveringsfunktionen appliceras);
$dW^l$ : derivatan av förlusten med avseende på vikter i lager $l$ ;
$db^l$ : derivatan av förlusten med avseende på bias i lager $l$ .

Beräkning av gradienter för utgångslagret

dz^n = da^n \odot f'^n(z^n)

Notering

Denna kvantitet representerar hur känslig förlustfunktionen är för förändringar i utgångslagrets pre-aktivering.

När vi har $\text d z^n$ , beräknar vi gradienterna för vikterna och biaserna:

\begin{aligned} dW^n &= dz^n \cdot (a^{n-1})^T\\ db^n &= dz^n \end{aligned}

För att föra detta bakåt beräknar vi derivatan av förlusten med avseende på aktiveringen i föregående lager:

da^{n-1} = (W^n)^T \cdot dz^n

Propagering av gradienter till de dolda lagren

För varje dolt lager $l$ är proceduren densamma. Givet $da^l$ :

Beräkna derivatan av förlusten med avseende på pre-aktiveringarna;
Beräkna gradienterna för vikterna och biaserna;
Beräkna $da^{l-1}$ för att föra derivatan bakåt.

\begin{aligned} dz^l &= da^l \odot f'^l(z^l)\\ dW^l &= dz^l \cdot (a^{l-1})^T\\ db^l &= dz^l\\ da^{l-1} &= (W^l)^T \cdot dz^l \end{aligned}

Detta steg upprepas tills vi når inmatningslagret.

Uppdatering av vikter och bias

När vi har beräknat gradienterna för alla lager uppdaterar vi vikterna och bias med hjälp av gradientnedstigning:

\begin{aligned} W^l &= W^l - \alpha \cdot dW^l\\ b^l &= b^l - \alpha \cdot db^l \end{aligned}

där $\alpha$ är inlärningshastigheten, som styr hur mycket vi justerar parametrarna.

Var allt tydligt?

Tack för dina kommentarer!

Avsnitt 2. Kapitel 7