El entrenamiento de una red neuronal implica un proceso iterativo en el que el modelo mejora gradualmente ajustando sus pesos y sesgos para minimizar la función de pérdida. Este proceso se conoce como optimización basada en gradientes y sigue un algoritmo estructurado.

Algoritmo general

El conjunto de datos se pasa primero a través de la red varias veces en un bucle, donde cada pasada completa se denomina época. Durante cada época, los datos se barajan para evitar que el modelo aprenda patrones basados en el orden de los ejemplos de entrenamiento. Barajar ayuda a introducir aleatoriedad, lo que conduce a un modelo más robusto.

Para cada ejemplo de entrenamiento, el modelo realiza la propagación hacia adelante, donde las entradas pasan por la red, capa por capa, produciendo una salida. Esta salida se compara luego con el valor objetivo real para calcular la pérdida.

A continuación, el modelo aplica la retropropagación y actualiza los pesos y sesgos en cada capa para reducir la pérdida.

Este proceso se repite durante múltiples épocas, lo que permite que la red refine gradualmente sus parámetros. A medida que avanza el entrenamiento, la red aprende a realizar predicciones cada vez más precisas. Sin embargo, el ajuste cuidadoso de hiperparámetros como la tasa de aprendizaje es crucial para garantizar un entrenamiento estable y eficiente.

La tasa de aprendizaje ($\alpha$) determina el tamaño del paso en las actualizaciones de los pesos. Si es demasiado alta, el modelo puede sobrepasar los valores óptimos y no converger. Si es demasiado baja, el entrenamiento se vuelve lento y puede quedarse atascado en una solución subóptima. Elegir una tasa de aprendizaje adecuada equilibra la velocidad y la estabilidad durante el entrenamiento. Los valores típicos oscilan entre 0.001 y 0.1, dependiendo del problema y del tamaño de la red.

El siguiente gráfico muestra cómo una tasa de aprendizaje apropiada permite que la pérdida disminuya de manera constante a un ritmo óptimo:

Finalmente, el descenso de gradiente estocástico (SGD) desempeña un papel fundamental en la eficiencia del entrenamiento. En lugar de calcular las actualizaciones de los pesos después de procesar todo el conjunto de datos, SGD actualiza los parámetros después de cada ejemplo individual. Esto hace que el entrenamiento sea más rápido e introduce ligeras variaciones en las actualizaciones, lo que puede ayudar al modelo a escapar de mínimos locales y alcanzar una mejor solución global.

El método fit()

El método fit() en la clase Perceptron es responsable de entrenar el modelo utilizando descenso de gradiente estocástico.

def fit(self, training_data, labels, epochs, learning_rate):
    # Iterating over multiple epochs
    for epoch in range(epochs):
        # Shuffling the data  
        indices = np.random.permutation(training_data.shape[0])
        training_data = training_data[indices]
        labels = labels[indices]
        # Iterating through each training example
        for i in range(training_data.shape[0]):
            inputs = training_data[i, :].reshape(-1, 1)
            target = labels[i, :].reshape(-1, 1)

            # Forward propagation
            output = ...

            # Computing the gradient of the loss function w.r.t. output
            da = ...

            # Backward propagation through all layers
            for layer in self.layers[::-1]:
                da = ...