Oppiskele Taaksepäin Suuntautuva Eteneminen | Neuroverkon Rakentaminen Alusta Alkaen

Takaisinlevitys eli backpropagation on prosessi, jossa selvitetään, miten häviöfunktio muuttuu suhteessa jokaiseen neuroverkon parametriin. Tavoitteena on säätää näitä parametreja siten, että kokonaishäviö pienenee.

Tämä prosessi perustuu gradienttien laskentaan käyttäen gradienttimenetelmää (gradient descent), jossa hyödynnetään häviön derivaattoja suhteessa jokaisen kerroksen pre-aktivaatioarvoihin (raakalähtöihin ennen aktivointifunktion soveltamista) ja viedään nämä arvot taaksepäin verkossa.

Koska jokainen kerros vaikuttaa lopulliseen ennusteeseen, gradientit lasketaan vaiheittain:

Suoritetaan eteenpäinlevitys tulosten saamiseksi;
Lasketaan häviön derivaatta suhteessa ulostulon pre-aktivaatioon;
Levitetään tämä derivaatta taaksepäin kerrosten läpi käyttäen ketjusääntöä;
Lasketaan ja käytetään gradientteja painojen ja biasien päivittämiseen koulutuksen aikana.

Huomio

Gradientit kuvaavat funktion muutosnopeutta suhteessa sen syötteisiin, eli ne ovat sen derivaattoja. Ne osoittavat, kuinka paljon pieni muutos painoissa, biaseissa tai aktivaatioissa vaikuttaa häviöfunktioon, ohjaten mallin oppimisprosessia gradienttimenetelmän avulla.

Notaatiot

Selkeyden vuoksi käytetään seuraavia merkintöjä:

$W^l$ on kerroksen $l$ painomatriisi;
$b^l$ on kerroksen $l$ bias-vektori;
$z^l$ on kerroksen $l$ pre-aktivaatioiden vektori;
$a^l$ on kerroksen $l$ aktivaatioiden vektori;

Kun asetetaan $a^0$ arvoksi $x$ (syötteet), eteenpäinlevitys perceptronissa, jossa on n kerrosta, voidaan kuvata seuraavalla operaatioketjulla:

\begin{aligned} a^0 &= x, & &... & &...\\ z^1 &= W^1 a^0 + b^1, & z^l &= W^l a^{l-1} + b^l, & z^n &= W^n a^{n-1} + b^n,\\ a^1 &= f^1(z^1), & a^l &= f^l(z^l), & a^n &= f^n(z^n),\\ &... & &... & \hat y &= a^n. \end{aligned}

Takapropagoinnin matemaattista kuvausta varten otetaan käyttöön seuraavat merkinnät:

$da^l$ : tappion derivaatta suhteessa aktivaatioihin kerroksessa $l$ ;
$dz^l$ : tappion derivaatta suhteessa pre-aktivaatioihin kerroksessa $l$ (ennen aktivointifunktion soveltamista);
$dW^l$ : tappion derivaatta suhteessa painoihin kerroksessa $l$ ;
$db^l$ : tappion derivaatta suhteessa bias-termeihin kerroksessa $l$ .

Gradienttien laskeminen ulostulokerrokselle

Viimeisessä kerroksessa $n$ ensimmäinen vaihe on laskea tappion gradientti suhteessa ulostulokerroksen aktivaatioihin, merkittynä $da^n$ .

Tämän jälkeen, käyttäen ketjusääntöä, tappion gradientti suhteessa ulostulokerroksen pre-aktivaatioihin lasketaan seuraavasti:

dz^n = da^n \odot f'^n(z^n)

Tässä $f'^n(z^n)$ tarkoittaa aktivointifunktion derivaattaa kerroksessa $n$ , ja symboli $\odot$ tarkoittaa alkiokohtaista kertolaskua.

Huomio

Symboli $\odot$ tarkoittaa alkiokohtaista kertolaskua, eli jokainen vektorin alkio kerrotaan vastaavan toisen vektorin alkion kanssa. Sen sijaan symboli $\cdot$ edustaa pistetuloa, jota käytetään tavanomaisessa matriisi- tai vektorikertolaskussa. Termi $f'^n$ viittaa aktivointifunktion derivaattaan ulostulokerroksessa.

Tämä arvo ilmaisee, kuinka herkkä häviöfunktio on muutoksille ulostulokerroksen pre-aktivaatioarvoissa.

Kun $dz^n$ on laskettu, seuraava vaihe on laskea gradientit painoille ja siirtotermeille:

\begin{aligned} dW^n &= dz^n \cdot (a^{n-1})^T,\\ db^n &= dz^n \end{aligned}

Nämä gradientit kuvaavat, kuinka paljon kutakin painoa ja siirtotermiä ulostulokerroksessa tulisi säätää häviön pienentämiseksi.

Tässä $(a^{n-1})^T$ on edellisen kerroksen transponoitu aktivaatio vektori. Jos alkuperäisen vektorin muoto on $n_{\text{neurons}} \times 1$ , sen transpoosiolla on muoto $1 \times n_{\text{neurons}}$ .

Takaisinlevityksen jatkamiseksi lasketaan häviön derivaatta edellisen kerroksen aktivaatioiden suhteen seuraavasti:

da^{n-1} = (W^n)^T \cdot dz^n

Tämä lauseke mahdollistaa virhesignaalin siirtämisen taaksepäin verkossa, mahdollistaen aiempien kerrosten säätämisen koulutuksen aikana.

Gradienttien levittäminen piilokerroksiin

Jokaiselle piilokerrokselle $l$ menettely on sama. Kun $da^l$ on annettu:

Laske häviön derivaatta pre-aktivaatioiden suhteen;
Laske gradientit painoille ja siirtotermeille;
Laske $da^{l-1}$ derivaatan levittämiseksi taaksepäin.

\begin{aligned} dz^l &= da^l \odot f'^l(z^l)\\ dW^l &= dz^l \cdot (a^{l-1})^T\\ db^l &= dz^l\\ da^{l-1} &= (W^l)^T \cdot dz^l \end{aligned}

Tätä prosessia toistetaan jokaiselle edeltävälle kerrokselle vaihe vaiheelta, kunnes saavutetaan syötekerros.

Painojen ja biasien päivittäminen

Kun gradientit on laskettu kaikille kerroksille, painot ja biasit päivitetään käyttämällä gradienttivähenemä-algoritmia:

\begin{aligned} W^l &= W^l - \alpha \cdot dW^l,\\ b^l &= b^l - \alpha \cdot db^l. \end{aligned}

Tässä $\alpha$ tarkoittaa oppimisnopeutta, joka määrittää, kuinka paljon parametreja säädetään jokaisella koulutusaskeleella.

Tässä $\alpha$ on oppimisnopeus, hyperparametri, joka määrittää painojen ja biasien säätöjen suuruuden jokaisella päivitysvaiheella.

Oliko kaikki selvää?

Kiitos palautteestasi!

Osio 2. Luku 7

Kysy tekoälyä

Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme

Suggested prompts:

Can you explain how the chain rule is applied in backpropagation?

What is the difference between pre-activations and activations in a neural network?

Can you provide an example of calculating gradients for a simple neural network?

Pyyhkäise näyttääksesi valikon

Koska jokainen kerros vaikuttaa lopulliseen ennusteeseen, gradientit lasketaan vaiheittain:

Suoritetaan eteenpäinlevitys tulosten saamiseksi;
Lasketaan häviön derivaatta suhteessa ulostulon pre-aktivaatioon;
Levitetään tämä derivaatta taaksepäin kerrosten läpi käyttäen ketjusääntöä;
Lasketaan ja käytetään gradientteja painojen ja biasien päivittämiseen koulutuksen aikana.

Huomio

Notaatiot

Selkeyden vuoksi käytetään seuraavia merkintöjä:

$W^l$ on kerroksen $l$ painomatriisi;
$b^l$ on kerroksen $l$ bias-vektori;
$z^l$ on kerroksen $l$ pre-aktivaatioiden vektori;
$a^l$ on kerroksen $l$ aktivaatioiden vektori;

Kun asetetaan $a^0$ arvoksi $x$ (syötteet), eteenpäinlevitys perceptronissa, jossa on n kerrosta, voidaan kuvata seuraavalla operaatioketjulla:

\begin{aligned} a^0 &= x, & &... & &...\\ z^1 &= W^1 a^0 + b^1, & z^l &= W^l a^{l-1} + b^l, & z^n &= W^n a^{n-1} + b^n,\\ a^1 &= f^1(z^1), & a^l &= f^l(z^l), & a^n &= f^n(z^n),\\ &... & &... & \hat y &= a^n. \end{aligned}

Takapropagoinnin matemaattista kuvausta varten otetaan käyttöön seuraavat merkinnät:

$da^l$ : tappion derivaatta suhteessa aktivaatioihin kerroksessa $l$ ;
$dz^l$ : tappion derivaatta suhteessa pre-aktivaatioihin kerroksessa $l$ (ennen aktivointifunktion soveltamista);
$dW^l$ : tappion derivaatta suhteessa painoihin kerroksessa $l$ ;
$db^l$ : tappion derivaatta suhteessa bias-termeihin kerroksessa $l$ .

Gradienttien laskeminen ulostulokerrokselle

Viimeisessä kerroksessa $n$ ensimmäinen vaihe on laskea tappion gradientti suhteessa ulostulokerroksen aktivaatioihin, merkittynä $da^n$ .

Tämän jälkeen, käyttäen ketjusääntöä, tappion gradientti suhteessa ulostulokerroksen pre-aktivaatioihin lasketaan seuraavasti:

dz^n = da^n \odot f'^n(z^n)

Tässä $f'^n(z^n)$ tarkoittaa aktivointifunktion derivaattaa kerroksessa $n$ , ja symboli $\odot$ tarkoittaa alkiokohtaista kertolaskua.

Huomio

Tämä arvo ilmaisee, kuinka herkkä häviöfunktio on muutoksille ulostulokerroksen pre-aktivaatioarvoissa.

Kun $dz^n$ on laskettu, seuraava vaihe on laskea gradientit painoille ja siirtotermeille:

\begin{aligned} dW^n &= dz^n \cdot (a^{n-1})^T,\\ db^n &= dz^n \end{aligned}

Nämä gradientit kuvaavat, kuinka paljon kutakin painoa ja siirtotermiä ulostulokerroksessa tulisi säätää häviön pienentämiseksi.

Takaisinlevityksen jatkamiseksi lasketaan häviön derivaatta edellisen kerroksen aktivaatioiden suhteen seuraavasti:

da^{n-1} = (W^n)^T \cdot dz^n

Tämä lauseke mahdollistaa virhesignaalin siirtämisen taaksepäin verkossa, mahdollistaen aiempien kerrosten säätämisen koulutuksen aikana.

Gradienttien levittäminen piilokerroksiin

Jokaiselle piilokerrokselle $l$ menettely on sama. Kun $da^l$ on annettu:

Laske häviön derivaatta pre-aktivaatioiden suhteen;
Laske gradientit painoille ja siirtotermeille;
Laske $da^{l-1}$ derivaatan levittämiseksi taaksepäin.

\begin{aligned} dz^l &= da^l \odot f'^l(z^l)\\ dW^l &= dz^l \cdot (a^{l-1})^T\\ db^l &= dz^l\\ da^{l-1} &= (W^l)^T \cdot dz^l \end{aligned}

Tätä prosessia toistetaan jokaiselle edeltävälle kerrokselle vaihe vaiheelta, kunnes saavutetaan syötekerros.

Painojen ja biasien päivittäminen

Kun gradientit on laskettu kaikille kerroksille, painot ja biasit päivitetään käyttämällä gradienttivähenemä-algoritmia:

\begin{aligned} W^l &= W^l - \alpha \cdot dW^l,\\ b^l &= b^l - \alpha \cdot db^l. \end{aligned}

Tässä $\alpha$ tarkoittaa oppimisnopeutta, joka määrittää, kuinka paljon parametreja säädetään jokaisella koulutusaskeleella.

Tässä $\alpha$ on oppimisnopeus, hyperparametri, joka määrittää painojen ja biasien säätöjen suuruuden jokaisella päivitysvaiheella.

Oliko kaikki selvää?

Kiitos palautteestasi!

Osio 2. Luku 7