Perceptron är det enklaste neurala nätverket—endast en neuron. För mer komplexa uppgifter används ett multilagerperceptron (MLP), som innehåller en eller flera dolda lager som gör det möjligt för nätverket att lära sig mer avancerade mönster.

Ett MLP består av:

1. Ingångslager — tar emot data;
2. Dolda lager — extraherar mönster;
3. Utgångslager — genererar prediktioner.

Varje lager har flera neuroner; utgången från ett lager blir ingången till nästa.

Lagerns vikter och bias

Tidigare lagrade en neuron sina vikter som en vektor och bias som en skalär. Ett lager innehåller dock många neuroner, så dess vikter blir en matris, där varje rad lagrar vikterna för en neuron. Bias för alla neuroner bildar en vektor.

För ett lager med 3 ingångar och 2 neuroner:

Här är $W_{ij}$ vikten från den $j$:e ingången till den $i$:e neuronen; $b_i$ är bias för neuron $i$.

Framåtriktad propagiering

Framåtriktad propagiering aktiverar varje neuron genom att beräkna en viktad summa, addera bias och tillämpa aktiveringsfunktionen.

Tidigare använde en enskild neuron:

[ z = W \cdot x + b ]

Nu, eftersom varje rad i (W) är en neurons viktvektor, beräknar matrismultiplikation mellan viktmatrisen och ingångsvektorn automatiskt alla neuronernas viktade summor samtidigt.

För att lägga till bias till utgångarna från respektive neuron, ska en bias-vektor också adderas:

Slutligen appliceras aktiveringsfunktionen på resultatet — sigmoid eller ReLU i vårt fall. Den resulterande formeln för framåtriktad propagiering i lagret är följande:

där $a$ är vektorn av neuronaktiveringar (utgångar).

Lagerklass

Eftersom MLP:er byggs upp av lager definieras en dedikerad Layer-klass. Dess attribut:

• inputs: indata-vektor (n_inputs element);
• outputs: råa neuronutgångar (n_neurons element);
• weights: viktmatris;
• biases: bias-vektor;
• activation_function: aktiveringsfunktion som används i lagret.

Vikter och bias initieras med slumpmässiga värden från en uniform fördelning i ([-1, 1]). inputs och outputs initieras som nollfyllda NumPy-arrayer för att säkerställa konsekventa former för senare backpropagering.

class Layer:
    def __init__(self, n_inputs, n_neurons, activation_function):
        self.inputs = np.zeros((n_inputs, 1))
        self.outputs = np.zeros((n_neurons, 1))
        self.weights = ...
        self.biases = ...
        self.activation = activation_function

Forward-metod

Framåtriktad propagiering för ett lager beräknar råa utdata och applicerar aktiveringsfunktionen:

def forward(self, inputs):
    self.inputs = np.array(inputs).reshape(-1, 1)
    # Raw outputs: weighted sum + bias
    self.outputs = ...
    # Apply activation
    return ...

Omformning av indata till en kolumnvektor säkerställer korrekt multiplikation med viktmatrisen och att dimensionerna matchar genom hela nätverket.