Aprende Desafío: Entrenamiento del Perceptrón

Antes de proceder con el entrenamiento del perceptrón, ten en cuenta que utiliza la función de pérdida de entropía cruzada binaria discutida anteriormente. El último concepto clave antes de implementar la retropropagación es la fórmula para la derivada de esta función de pérdida con respecto a las activaciones de salida, $a^n$ . A continuación se muestran las fórmulas para la función de pérdida y su derivada:

\begin{aligned} L &= -(y \log(\hat{y}) + (1-y) \log(1 - \hat{y}))\\ da^n &= \frac {\hat{y} - y} {\hat{y}(1 - \hat{y})} \end{aligned}

donde $a^n = \hat{y}$

Para verificar que el perceptrón se está entrenando correctamente, el método fit() también imprime la pérdida promedio en cada época. Esto se calcula promediando la pérdida sobre todos los ejemplos de entrenamiento en esa época:

for epoch in range(epochs):
    loss = 0

    for i in range(training_data.shape[0]):
        loss += -(target * np.log(output) + (1 - target) * np.log(1 - output))

average_loss = loss[0, 0] / training_data.shape[0]
print(f'Loss at epoch {epoch + 1}: {average_loss:.3f}')

L = -\frac1N \sum_{i=1}^N (y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i))

Finalmente, las fórmulas para calcular los gradientes son las siguientes:

\begin{aligned} dz^l &= da^l \odot f'^l(z^l)\\ dW^l &= dz^l \cdot (a^{l-1})^T\\ db^l &= dz^l\\ da^{l-1} &= (W^l)^T \cdot dz^l \end{aligned}

Los datos de entrenamiento de ejemplo (X_train) junto con las etiquetas correspondientes (y_train) se almacenan como arreglos de NumPy en el archivo utils.py. Además, las instancias de las funciones de activación también se definen allí:

relu = ReLU()
sigmoid = Sigmoid()

Tarea

Swipe to start coding

Calcular los siguientes gradientes: dz, d_weights, d_biases y da_prev en el método backward() de la clase Layer.
Calcular la output del modelo en el método fit() de la clase Perceptron.
Calcular da ( $da^n$ ) antes del bucle, que es el gradiente de la función de pérdida respecto a las activaciones de salida.
Calcular da y realizar la retropropagación en el bucle llamando al método correspondiente para cada una de las capas.

Si la implementación del entrenamiento es correcta, dado el valor de la tasa de aprendizaje 0.01, la pérdida debería disminuir de forma constante con cada época.

Solución

¿Todo estuvo claro?

¡Gracias por tus comentarios!

Sección 2. Capítulo 10

single

Pregunte a AI

Pregunte lo que quiera o pruebe una de las preguntas sugeridas para comenzar nuestra charla

Awesome!

Completion rate improved to 4

Desliza para mostrar el menú

\begin{aligned} L &= -(y \log(\hat{y}) + (1-y) \log(1 - \hat{y}))\\ da^n &= \frac {\hat{y} - y} {\hat{y}(1 - \hat{y})} \end{aligned}