En este ejemplo, el objetivo es construir una red neuronal con una sola neurona. Se utilizará para una tarea de clasificación binaria, como la detección de spam, donde 0 corresponde a un correo legítimo (no spam) y 1 corresponde a un correo spam.

La neurona recibirá como entradas características numéricas extraídas de los correos electrónicos y producirá una salida entre 0 y 1, que representa la probabilidad de que un correo dado sea spam.

El proceso ocurre de la siguiente manera, paso a paso:

1. Cada entrada se multiplica por un peso correspondiente; los pesos son parámetros ajustables que determinan la importancia de cada entrada;
2. Todas las entradas ponderadas se suman;
3. Se añade un término de sesgo a la suma de entradas, lo que permite que la neurona desplace su salida y proporciona flexibilidad adicional al modelo;
4. La suma se pasa a través de una función de activación. Como una sola neurona produce directamente la salida final (una probabilidad), se utiliza la función sigmoide para comprimir los valores en el rango $(0, 1)$.

Clase Neurona

Una neurona necesita almacenar sus pesos y sesgo, por lo que una clase es una forma natural de agrupar estas propiedades relacionadas.

class Neuron:
    def __init__(self, n_inputs):  
        self.weights = ...
        self.bias = ...

• weights: una lista de valores inicializados aleatoriamente que determinan la importancia de cada entrada (n_inputs es el número de entradas) para la neurona;
• bias: un valor inicializado aleatoriamente que ayuda a la neurona a tomar decisiones flexibles.

Los pesos y el sesgo deben ser inicializados aleatoriamente con valores pequeños entre -1 y 1, extraídos de una distribución uniforme, para romper la simetría y asegurar que diferentes neuronas aprendan diferentes características.

En resumen, NumPy proporciona la función random.uniform() para generar un número aleatorio o un arreglo (especificando el argumento size) de números aleatorios de una distribución uniforme dentro del rango [low, high).

import numpy as np

np.random.uniform(low, high, size=...)

Propagación hacia adelante

La clase Neuron debe incluir un método activate() que calcule la suma ponderada de las entradas y luego aplique la función de activación (en este caso, la función sigmoide).

Cuando se dispone de dos vectores de igual longitud — weights y inputs — la suma ponderada puede calcularse de manera eficiente utilizando el producto punto de estos vectores.

Esto permite calcular la suma ponderada en una sola línea de código usando la función numpy.dot(), eliminando la necesidad de un bucle. El sesgo puede añadirse directamente al resultado para obtener input_sum_with_bias. La salida se calcula aplicando la función de activación sigmoide:

def activate(self, inputs):
    input_sum_with_bias = ...
    output = ...

    return output

Funciones de activación

La fórmula para la función sigmoide es la siguiente, dado que $z$ representa la suma ponderada de las entradas con el sesgo añadido (valor de salida en bruto) para esta neurona en particular:

Utilizando esta fórmula, la función sigmoide puede implementarse como una función simple en Python:

def sigmoid(z):
    return 1 / (1 + np.exp(-z))

La fórmula para la función ReLU es la siguiente, que básicamente establece la salida igual a $z$ si es positiva y 0 en caso contrario:

def relu(z):
    return np.maximum(0, z)