Impara Propagazione All'Indietro | Rete Neurale da Zero

La propagazione all'indietro (backprop) è il processo di calcolo di come la funzione di perdita varia rispetto a ciascun parametro della rete. L'obiettivo è aggiornare i parametri nella direzione che riduce la perdita.

Per ottenere questo risultato, si utilizza l'algoritmo di discesa del gradiente e si calcolano le derivate della perdita rispetto ai valori di pre-attivazione di ciascun livello (valori grezzi prima dell'applicazione della funzione di attivazione), propagandoli all'indietro.

Ogni livello contribuisce alla previsione finale, quindi i gradienti devono essere calcolati in modo strutturato:

Eseguire la propagazione in avanti;
Calcolare la derivata della perdita rispetto alla pre-attivazione di uscita;
Propagare questa derivata all'indietro attraverso i livelli utilizzando la regola della catena;
Calcolare i gradienti per pesi e bias per aggiornarli.

Nota

I gradienti rappresentano il tasso di variazione di una funzione rispetto ai suoi input, ovvero sono le sue derivate. Indicano quanto una piccola variazione di pesi, bias o attivazioni influisce sulla funzione di perdita, guidando il processo di apprendimento del modello tramite la discesa del gradiente.

Notazione

Per rendere la spiegazione più chiara, utilizziamo la seguente notazione:

$W^l$ è la matrice dei pesi del livello $l$ ;
$b^l$ è il vettore dei bias del livello $l$ ;
$z^l$ è il vettore delle pre-attivazioni del livello $l$ ;
$a^l$ è il vettore delle attivazioni del livello $l$ ;

Pertanto, ponendo $a^0$ uguale a $x$ (gli input), la propagazione in avanti in un percettrone con n livelli può essere descritta dalla seguente sequenza di operazioni:

\begin{aligned} a^0 &= x, & &... & &...\\ z^1 &= W^1 a^0 + b^1, & z^l &= W^l a^{l-1} + b^l, & z^n &= W^n a^{n-1} + b^n,\\ a^1 &= f^1(z^1), & a^l &= f^l(z^l), & a^n &= f^n(z^n),\\ &... & &... & \hat y &= a^n. \end{aligned}

Per descrivere matematicamente la retropropagazione, introduciamo le seguenti notazioni:

$da^l$ : derivata della funzione di perdita rispetto alle attivazioni allo strato $l$ ;
$dz^l$ : derivata della funzione di perdita rispetto alle pre-attivazioni allo strato $l$ (prima di applicare la funzione di attivazione);
$dW^l$ : derivata della funzione di perdita rispetto ai pesi allo strato $l$ ;
$db^l$ : derivata della funzione di perdita rispetto ai bias allo strato $l$ .

Calcolo dei gradienti per lo strato di output

All'ultimo strato $n$ , si calcola innanzitutto il gradiente della funzione di perdita rispetto alle attivazioni dello strato di output, $da^n$ . Successivamente, utilizzando la regola della catena, si calcola il gradiente della funzione di perdita rispetto alle pre-attivazioni dello strato di output:

dz^n = da^n \odot f'^n(z^n)

Nota

Il simbolo $\odot$ rappresenta la moltiplicazione elemento per elemento. Poiché si lavora con vettori e matrici, il simbolo di moltiplicazione usuale $\cdot$ rappresenta invece il prodotto scalare. $f'^n$ è la derivata della funzione di attivazione dello strato di output.

Questa quantità rappresenta la sensibilità della funzione di perdita rispetto alle variazioni nella pre-attivazione dello strato di output.

Una volta ottenuto $\text d z^n$ , si calcolano i gradienti per i pesi e i bias:

\begin{aligned} dW^n &= dz^n \cdot (a^{n-1})^T\\ db^n &= dz^n \end{aligned}

dove $(a^{n-1})^T$ è il vettore trasposto delle attivazioni provenienti dallo strato precedente. Dato che il vettore originale è un vettore $n_{neurons} \times 1$ , il vettore trasposto è $1 \times n_{neurons}$ .

Per propagare questa quantità all'indietro, si calcola la derivata della perdita rispetto alle attivazioni dello strato precedente:

da^{n-1} = (W^n)^T \cdot dz^n

Propagazione dei Gradienti agli Strati Nascosti

Per ogni strato nascosto $l$ la procedura è la stessa. Dato $da^l$ :

Calcolare la derivata della perdita rispetto alle pre-attivazioni;
Calcolare i gradienti per i pesi e i bias;
Calcolare $da^{l-1}$ per propagare la derivata all'indietro.

\begin{aligned} dz^l &= da^l \odot f'^l(z^l)\\ dW^l &= dz^l \cdot (a^{l-1})^T\\ db^l &= dz^l\\ da^{l-1} &= (W^l)^T \cdot dz^l \end{aligned}

Questo passaggio si ripete fino a raggiungere lo strato di input.

Aggiornamento di pesi e bias

Una volta calcolati i gradienti per tutti gli strati, si aggiornano i pesi e i bias utilizzando la discesa del gradiente:

\begin{aligned} W^l &= W^l - \alpha \cdot dW^l\\ b^l &= b^l - \alpha \cdot db^l \end{aligned}

dove $\alpha$ è il tasso di apprendimento, che controlla quanto vengono modificati i parametri.

Tutto è chiaro?

Grazie per i tuoi commenti!

Sezione 2. Capitolo 7

Chieda ad AI

Chieda pure quello che desidera o provi una delle domande suggerite per iniziare la nostra conversazione

Awesome!

Completion rate improved to 4

Scorri per mostrare il menu

Ogni livello contribuisce alla previsione finale, quindi i gradienti devono essere calcolati in modo strutturato:

Eseguire la propagazione in avanti;
Calcolare la derivata della perdita rispetto alla pre-attivazione di uscita;
Propagare questa derivata all'indietro attraverso i livelli utilizzando la regola della catena;
Calcolare i gradienti per pesi e bias per aggiornarli.

Nota

Notazione

Per rendere la spiegazione più chiara, utilizziamo la seguente notazione:

$W^l$ è la matrice dei pesi del livello $l$ ;
$b^l$ è il vettore dei bias del livello $l$ ;
$z^l$ è il vettore delle pre-attivazioni del livello $l$ ;
$a^l$ è il vettore delle attivazioni del livello $l$ ;

Pertanto, ponendo $a^0$ uguale a $x$ (gli input), la propagazione in avanti in un percettrone con n livelli può essere descritta dalla seguente sequenza di operazioni:

\begin{aligned} a^0 &= x, & &... & &...\\ z^1 &= W^1 a^0 + b^1, & z^l &= W^l a^{l-1} + b^l, & z^n &= W^n a^{n-1} + b^n,\\ a^1 &= f^1(z^1), & a^l &= f^l(z^l), & a^n &= f^n(z^n),\\ &... & &... & \hat y &= a^n. \end{aligned}

Per descrivere matematicamente la retropropagazione, introduciamo le seguenti notazioni:

$da^l$ : derivata della funzione di perdita rispetto alle attivazioni allo strato $l$ ;
$dz^l$ : derivata della funzione di perdita rispetto alle pre-attivazioni allo strato $l$ (prima di applicare la funzione di attivazione);
$dW^l$ : derivata della funzione di perdita rispetto ai pesi allo strato $l$ ;
$db^l$ : derivata della funzione di perdita rispetto ai bias allo strato $l$ .

Calcolo dei gradienti per lo strato di output

dz^n = da^n \odot f'^n(z^n)

Nota

Questa quantità rappresenta la sensibilità della funzione di perdita rispetto alle variazioni nella pre-attivazione dello strato di output.

Una volta ottenuto $\text d z^n$ , si calcolano i gradienti per i pesi e i bias:

\begin{aligned} dW^n &= dz^n \cdot (a^{n-1})^T\\ db^n &= dz^n \end{aligned}

Per propagare questa quantità all'indietro, si calcola la derivata della perdita rispetto alle attivazioni dello strato precedente:

da^{n-1} = (W^n)^T \cdot dz^n

Propagazione dei Gradienti agli Strati Nascosti

Per ogni strato nascosto $l$ la procedura è la stessa. Dato $da^l$ :

Calcolare la derivata della perdita rispetto alle pre-attivazioni;
Calcolare i gradienti per i pesi e i bias;
Calcolare $da^{l-1}$ per propagare la derivata all'indietro.

\begin{aligned} dz^l &= da^l \odot f'^l(z^l)\\ dW^l &= dz^l \cdot (a^{l-1})^T\\ db^l &= dz^l\\ da^{l-1} &= (W^l)^T \cdot dz^l \end{aligned}

Questo passaggio si ripete fino a raggiungere lo strato di input.

Aggiornamento di pesi e bias

Una volta calcolati i gradienti per tutti gli strati, si aggiornano i pesi e i bias utilizzando la discesa del gradiente:

\begin{aligned} W^l &= W^l - \alpha \cdot dW^l\\ b^l &= b^l - \alpha \cdot db^l \end{aligned}

dove $\alpha$ è il tasso di apprendimento, che controlla quanto vengono modificati i parametri.

Tutto è chiaro?

Grazie per i tuoi commenti!

Sezione 2. Capitolo 7