Summary  
This chapter covers implementing an iterative gradient-based optimization algorithm that loops over shuffled data for multiple epochs, uses forward propagation to compute outputs, backpropagation to compute gradients, and stochastic gradient descent with a tunable learning rate to update model parameters.  

General domain of usage  
Neural network training

El entrenamiento de una red neuronal implica un **proceso iterativo** en el que el modelo mejora gradualmente ajustando sus **pesos y sesgos** para minimizar la función de pérdida. Este proceso se conoce como **optimización basada en gradientes** y sigue un algoritmo estructurado.

## Algoritmo general  

El conjunto de datos se pasa primero a través de la red varias veces en un bucle, donde cada pasada completa se denomina **época**. Durante cada época, los datos se **barajan** para evitar que el modelo aprenda patrones basados en el orden de los ejemplos de entrenamiento. Barajar introduce **aleatoriedad**, lo que conduce a un modelo más robusto.

Para cada ejemplo de entrenamiento, el modelo realiza la **propagación hacia adelante**, donde las entradas pasan por la red, capa por capa, produciendo una salida. Esta salida se compara luego con el valor objetivo real para calcular la **pérdida**.

A continuación, el modelo aplica la **retropropagación** y actualiza los pesos y sesgos en cada capa para reducir la pérdida.  

Este proceso se repite durante **múltiples épocas**, lo que permite que la red refine sus parámetros gradualmente. A medida que avanza el entrenamiento, la red aprende a realizar predicciones cada vez más precisas. Sin embargo, el ajuste cuidadoso de hiperparámetros como la **tasa de aprendizaje** es crucial para garantizar un entrenamiento estable y eficiente.

La **tasa de aprendizaje ($$\alpha$$)** determina el tamaño del paso en las actualizaciones de los pesos. Si es demasiado alta, el modelo puede sobrepasar los valores óptimos y no converger. Si es demasiado baja, el entrenamiento se vuelve lento y puede quedarse atascado en una solución subóptima. Elegir una tasa de aprendizaje adecuada equilibra la **velocidad** y la **estabilidad** durante el entrenamiento. Los valores típicos oscilan entre **0.001 y 0.1**, dependiendo del problema y del tamaño de la red.

El siguiente gráfico muestra cómo una tasa de aprendizaje apropiada permite que la pérdida **disminuya de manera constante** a un ritmo óptimo:

Finalmente, el **descenso de gradiente estocástico (SGD)** desempeña un papel fundamental en la eficiencia del entrenamiento. En lugar de calcular las actualizaciones de los pesos después de procesar todo el conjunto de datos, SGD actualiza los parámetros después de cada ejemplo individual. Esto hace que el entrenamiento sea **más rápido** e introduce ligeras variaciones en las actualizaciones, lo que puede ayudar al modelo a escapar de mínimos locales y alcanzar una mejor solución global.

## El método fit() 

El método `fit()` en la clase `Perceptron` es responsable de entrenar el modelo utilizando **descenso de gradiente estocástico**.
```python
def fit(self, training_data, labels, epochs, learning_rate):
    # Iterating over multiple epochs
    for epoch in range(epochs):
        # Shuffling the data  
        indices = np.random.permutation(training_data.shape[0])
        training_data = training_data[indices]
        labels = labels[indices]
        # Iterating through each training example
        for i in range(training_data.shape[0]):
            inputs = training_data[i, :].reshape(-1, 1)
            target = labels[i, :].reshape(-1, 1)

            # Forward propagation
            output = ...

            # Computing the gradient of the loss function w.r.t. output
            da = ...

            # Backward propagation through all layers
            for layer in self.layers[::-1]:
                da = ...
```

¿Cómo se llama un recorrido completo a través de todo el conjunto de datos de entrenamiento?

Las redes neuronales son algoritmos potentes inspirados en la estructura del cerebro humano que se utilizan para resolver problemas complejos de aprendizaje automático. Construirá su propia red neuronal desde cero para comprender su funcionamiento. Tras este curso, podrá crear redes neuronales para resolver problemas de clasificación y regresión utilizando la biblioteca scikit-learn.

Primero, discutiremos qué es una red neuronal y cómo funciona. También se considerará el alcance de su aplicación.

A continuación, intentaremos construir nuestra propia red neuronal y evaluaremos su eficiencia en el aprendizaje. También analizaremos una solución ya implementada de la biblioteca scikit-learn.

Finalmente, le proporcionaremos información adicional útil sobre cómo determinar qué modelo utilizar y qué tipos de redes neuronales existen. Para completar el curso, se evaluarán los conocimientos adquiridos.

Entrenamiento del Modelo

Awesome!

Entrenamiento del Modelo