Aprende Propagación Hacia Atrás | Red Neuronal Desde Cero

La propagación hacia atrás (backprop) es el proceso de calcular cómo la función de pérdida cambia con respecto a cada parámetro en la red. El objetivo es actualizar los parámetros en la dirección que reduce la pérdida.

Para lograr esto, se utiliza el algoritmo de descenso de gradiente y se calculan las derivadas de la pérdida con respecto a los valores de preactivación de cada capa (valores de salida en bruto antes de aplicar la función de activación) y se propagan hacia atrás.

Cada capa contribuye a la predicción final, por lo que los gradientes deben calcularse de manera estructurada:

Realizar la propagación hacia adelante;
Calcular la derivada de la pérdida con respecto a la preactivación de salida;
Propagar esta derivada hacia atrás a través de las capas utilizando la regla de la cadena;
Calcular los gradientes para los pesos y sesgos para actualizarlos.

Nota

Los gradientes representan la tasa de cambio de una función con respecto a sus entradas, es decir, son sus derivadas. Indican cuánto afecta un pequeño cambio en los pesos, sesgos o activaciones a la función de pérdida, guiando el proceso de aprendizaje del modelo mediante el descenso de gradiente.

Notación

Para clarificar la explicación, utilizaremos la siguiente notación:

$W^l$ es la matriz de pesos de la capa $l$ ;
$b^l$ es el vector de sesgos de la capa $l$ ;
$z^l$ es el vector de preactivaciones de la capa $l$ ;
$a^l$ es el vector de activaciones de la capa $l$ ;

Por lo tanto, estableciendo $a^0$ como $x$ (las entradas), la propagación hacia adelante en un perceptrón con n capas puede describirse como la siguiente secuencia de operaciones:

\begin{aligned} a^0 &= x, & &... & &...\\ z^1 &= W^1 a^0 + b^1, & z^l &= W^l a^{l-1} + b^l, & z^n &= W^n a^{n-1} + b^n,\\ a^1 &= f^1(z^1), & a^l &= f^l(z^l), & a^n &= f^n(z^n),\\ &... & &... & \hat y &= a^n. \end{aligned}

Para describir la retropropagación matemáticamente, introducimos las siguientes notaciones:

$da^l$ : derivada de la pérdida con respecto a las activaciones en la capa $l$ ;
$dz^l$ : derivada de la pérdida con respecto a las pre-activaciones en la capa $l$ (antes de aplicar la función de activación);
$dW^l$ : derivada de la pérdida con respecto a los pesos en la capa $l$ ;
$db^l$ : derivada de la pérdida con respecto a los sesgos en la capa $l$ .

Cálculo de gradientes para la capa de salida

En la capa final $n$ , primero se calcula el gradiente de la pérdida con respecto a las activaciones de la capa de salida, $da^n$ . Luego, utilizando la regla de la cadena, se calcula el gradiente de la pérdida con respecto a las pre-activaciones de la capa de salida:

dz^n = da^n \odot f'^n(z^n)

Nota

El símbolo $\odot$ representa la multiplicación elemento a elemento. Como estamos trabajando con vectores y matrices, el símbolo de multiplicación habitual $\cdot$ representa el producto punto en su lugar. $f'^n$ es la derivada de la función de activación de la capa de salida.

Esta cantidad representa cuán sensible es la función de pérdida a los cambios en la pre-activación de la capa de salida.

Una vez que tenemos $\text d z^n$ , calculamos los gradientes para los pesos y los sesgos:

\begin{aligned} dW^n &= dz^n \cdot (a^{n-1})^T\\ db^n &= dz^n \end{aligned}

donde $(a^{n-1})^T$ es el vector transpuesto de activación de la capa anterior. Dado que el vector original es un vector de $n_{neurons} \times 1$ , el vector transpuesto es de $1 \times n_{neurons}$ .

Para propagar esto hacia atrás, calculamos la derivada de la pérdida con respecto a las activaciones de la capa anterior:

da^{n-1} = (W^n)^T \cdot dz^n

Propagación de Gradientes a las Capas Ocultas

Para cada capa oculta $l$ el procedimiento es el mismo. Dado $da^l$ :

Calcular la derivada de la pérdida con respecto a las pre-activaciones;
Calcular los gradientes para los pesos y los sesgos;
Calcular $da^{l-1}$ para propagar la derivada hacia atrás.

\begin{aligned} dz^l &= da^l \odot f'^l(z^l)\\ dW^l &= dz^l \cdot (a^{l-1})^T\\ db^l &= dz^l\\ da^{l-1} &= (W^l)^T \cdot dz^l \end{aligned}

Este paso se repite hasta que se alcanza la capa de entrada.

Actualización de pesos y sesgos

Una vez que se han calculado los gradientes para todas las capas, se actualizan los pesos y sesgos utilizando descenso por gradiente:

\begin{aligned} W^l &= W^l - \alpha \cdot dW^l\\ b^l &= b^l - \alpha \cdot db^l \end{aligned}

donde $\alpha$ es la tasa de aprendizaje, que controla cuánto se ajustan los parámetros.

¿Todo estuvo claro?

¡Gracias por tus comentarios!

Sección 2. Capítulo 7

Pregunte a AI

Pregunte lo que quiera o pruebe una de las preguntas sugeridas para comenzar nuestra charla

Suggested prompts:

Can you explain how the chain rule is applied in backpropagation?

What is the difference between pre-activations and activations?

Can you provide a step-by-step example of backpropagation for a simple network?

Awesome!

Completion rate improved to 4

Desliza para mostrar el menú

Cada capa contribuye a la predicción final, por lo que los gradientes deben calcularse de manera estructurada:

Realizar la propagación hacia adelante;
Calcular la derivada de la pérdida con respecto a la preactivación de salida;
Propagar esta derivada hacia atrás a través de las capas utilizando la regla de la cadena;
Calcular los gradientes para los pesos y sesgos para actualizarlos.

Nota

Notación

Para clarificar la explicación, utilizaremos la siguiente notación:

$W^l$ es la matriz de pesos de la capa $l$ ;
$b^l$ es el vector de sesgos de la capa $l$ ;
$z^l$ es el vector de preactivaciones de la capa $l$ ;
$a^l$ es el vector de activaciones de la capa $l$ ;

Por lo tanto, estableciendo $a^0$ como $x$ (las entradas), la propagación hacia adelante en un perceptrón con n capas puede describirse como la siguiente secuencia de operaciones:

\begin{aligned} a^0 &= x, & &... & &...\\ z^1 &= W^1 a^0 + b^1, & z^l &= W^l a^{l-1} + b^l, & z^n &= W^n a^{n-1} + b^n,\\ a^1 &= f^1(z^1), & a^l &= f^l(z^l), & a^n &= f^n(z^n),\\ &... & &... & \hat y &= a^n. \end{aligned}

Para describir la retropropagación matemáticamente, introducimos las siguientes notaciones:

$da^l$ : derivada de la pérdida con respecto a las activaciones en la capa $l$ ;
$dz^l$ : derivada de la pérdida con respecto a las pre-activaciones en la capa $l$ (antes de aplicar la función de activación);
$dW^l$ : derivada de la pérdida con respecto a los pesos en la capa $l$ ;
$db^l$ : derivada de la pérdida con respecto a los sesgos en la capa $l$ .

Cálculo de gradientes para la capa de salida

dz^n = da^n \odot f'^n(z^n)

Nota

Esta cantidad representa cuán sensible es la función de pérdida a los cambios en la pre-activación de la capa de salida.

Una vez que tenemos $\text d z^n$ , calculamos los gradientes para los pesos y los sesgos:

\begin{aligned} dW^n &= dz^n \cdot (a^{n-1})^T\\ db^n &= dz^n \end{aligned}

Para propagar esto hacia atrás, calculamos la derivada de la pérdida con respecto a las activaciones de la capa anterior:

da^{n-1} = (W^n)^T \cdot dz^n

Propagación de Gradientes a las Capas Ocultas

Para cada capa oculta $l$ el procedimiento es el mismo. Dado $da^l$ :

Calcular la derivada de la pérdida con respecto a las pre-activaciones;
Calcular los gradientes para los pesos y los sesgos;
Calcular $da^{l-1}$ para propagar la derivada hacia atrás.

\begin{aligned} dz^l &= da^l \odot f'^l(z^l)\\ dW^l &= dz^l \cdot (a^{l-1})^T\\ db^l &= dz^l\\ da^{l-1} &= (W^l)^T \cdot dz^l \end{aligned}

Este paso se repite hasta que se alcanza la capa de entrada.

Actualización de pesos y sesgos

Una vez que se han calculado los gradientes para todas las capas, se actualizan los pesos y sesgos utilizando descenso por gradiente:

\begin{aligned} W^l &= W^l - \alpha \cdot dW^l\\ b^l &= b^l - \alpha \cdot db^l \end{aligned}

donde $\alpha$ es la tasa de aprendizaje, que controla cuánto se ajustan los parámetros.

¿Todo estuvo claro?

¡Gracias por tus comentarios!

Sección 2. Capítulo 7