Perseptronlag

Perceptron er det enkleste nevrale nettverket—kun én nevron. For mer komplekse oppgaver bruker vi et flernivå-perceptron (MLP), som inneholder ett eller flere skjulte lag som gjør det mulig for nettverket å lære mer komplekse mønstre.

Et MLP består av:

1. Inndatalag — mottar data;
2. Skjulte lag — trekker ut mønstre;
3. Utgangslag — produserer prediksjoner.

Hvert lag har flere nevroner; utdata fra ett lag blir inndata til det neste.

Lagvekter og bias

Tidligere lagret et nevron sine vekter som en vektor og bias som en skalar. Et lag inneholder derimot mange nevroner, så vektene blir en matrise, der hver rad lagrer vektene til ett nevron. Bias for alle nevronene danner en vektor.

For et lag med 3 inndata og 2 nevroner:

Her er $W_{ij}$ vekten fra den $j$-te inndataen til det $i$-te nevronet; $b_i$ er bias til nevron $i$.

Fremoverpropagering

Fremoverpropagering aktiverer hver nevron ved å beregne en vektet sum, legge til bias og bruke aktiveringsfunksjonen.

Tidligere brukte en enkelt nevron:

[ z = W \cdot x + b ]

Nå, siden hver rad i (W) er en nevron sitt vektvektor, vil matrise-multiplikasjon mellom vektmatrisen og input-vektoren automatisk beregne alle nevroners vektede summer samtidig.

For å legge til biasene til utgangene fra de respektive nevronene, må en bias-vektor også legges til:

Til slutt brukes aktiveringsfunksjonen på resultatet — sigmoid eller ReLU, i vårt tilfelle. Den resulterende formelen for fremoverpropagering i laget er som følger:

hvor $a$ er vektoren av nevronaktiveringer (utganger).

Lagklasse

Siden MLP-er er bygget opp av lag, definerer vi en dedikert Layer-klasse. Dens attributter:

• inputs: inngangsvektor (n_inputs elementer);
• outputs: rå nevronutganger (n_neurons elementer);
• weights: vektmatrise;
• biases: bias-vektor;
• activation_function: aktiveringsfunksjon brukt i laget.

Vekter og biaser initialiseres med tilfeldige verdier fra en uniform fordeling i ([-1, 1]). inputs og outputs initialiseres som nullfylte NumPy-arrays for å sikre konsistente former for senere tilbakepropagering.

class Layer:
    def __init__(self, n_inputs, n_neurons, activation_function):
        self.inputs = np.zeros((n_inputs, 1))
        self.outputs = np.zeros((n_neurons, 1))
        self.weights = ...
        self.biases = ...
        self.activation = activation_function

Forward-metode

Fremoverpropagering for et lag beregner rå utganger og anvender aktiveringsfunksjonen:

def forward(self, inputs):
    self.inputs = np.array(inputs).reshape(-1, 1)
    # Raw outputs: weighted sum + bias
    self.outputs = ...
    # Apply activation
    return ...

Omforming av input til en kolonnevektor sikrer korrekt multiplikasjon med vektmatrisen og at dimensjonene stemmer gjennom hele nettverket.