Strati Percettrone

Perceptron è la rete neurale più semplice—solo un neurone. Per compiti più complessi, si utilizza un perceptron multistrato (MLP), che contiene uno o più strati nascosti che permettono alla rete di apprendere schemi più complessi.

Un MLP è composto da:

1. Strato di input — riceve i dati;
2. Strati nascosti — estraggono schemi;
3. Strato di output — produce le previsioni.

Ogni strato ha più neuroni; l'output di uno strato diventa l'input del successivo.

Pesi e Bias degli Strati

In precedenza, un neurone memorizzava i suoi pesi come un vettore e il bias come uno scalare. Uno strato, tuttavia, contiene molti neuroni, quindi i suoi pesi diventano una matrice, dove ogni riga memorizza i pesi di un neurone. I bias di tutti i neuroni formano un vettore.

Per uno strato con 3 input e 2 neuroni:

Qui, $W_{ij}$ è il peso dall'input $j$ al neurone $i$; $b_i$ è il bias del neurone $i$.

Propagazione in avanti

La propagazione in avanti attiva ciascun neurone calcolando una somma pesata, aggiungendo il bias e applicando la funzione di attivazione.

In precedenza, un singolo neurone utilizzava:

[ z = W \cdot x + b ]

Ora, poiché ogni riga di (W) rappresenta il vettore dei pesi di un neurone, eseguendo la moltiplicazione tra matrice e vettore tra la matrice dei pesi e il vettore di input si calcolano automaticamente tutte le somme pesate dei neuroni contemporaneamente.

Per aggiungere i bias alle uscite dei rispettivi neuroni, è necessario aggiungere anche un vettore di bias:

Infine, la funzione di attivazione viene applicata al risultato — sigmoid o ReLU, nel nostro caso. La formula risultante per la propagazione in avanti nello strato è la seguente:

dove $a$ è il vettore delle attivazioni (uscite) dei neuroni.

Classe Layer

Poiché gli MLP sono costituiti da layer, definiamo una classe dedicata Layer. I suoi attributi:

• inputs: vettore di input (elementi n_inputs);
• outputs: output grezzi dei neuroni (elementi n_neurons);
• weights: matrice dei pesi;
• biases: vettore dei bias;
• activation_function: funzione di attivazione utilizzata nel layer.

Pesi e bias sono inizializzati con valori casuali da una distribuzione uniforme in ([-1, 1]). inputs e outputs sono inizializzati come array NumPy riempiti di zeri per garantire forme coerenti durante la successiva retropropagazione.

class Layer:
    def __init__(self, n_inputs, n_neurons, activation_function):
        self.inputs = np.zeros((n_inputs, 1))
        self.outputs = np.zeros((n_neurons, 1))
        self.weights = ...
        self.biases = ...
        self.activation = activation_function

Metodo Forward

La propagazione in avanti per un layer calcola gli output grezzi e applica la funzione di attivazione:

def forward(self, inputs):
    self.inputs = np.array(inputs).reshape(-1, 1)
    # Raw outputs: weighted sum + bias
    self.outputs = ...
    # Apply activation
    return ...

La trasformazione dell'input in un vettore colonna garantisce la corretta moltiplicazione con la matrice dei pesi e la corrispondenza delle dimensioni attese in tutta la rete.