Perceptronlag

Perceptron er det simpleste neurale netværk—kun én neuron. Til mere komplekse opgaver anvendes et multilags perceptron (MLP), som indeholder et eller flere skjulte lag, der gør det muligt for netværket at lære mere komplekse mønstre.

Et MLP består af:

1. Inputlag — modtager data;
2. Skjulte lag — udtrækker mønstre;
3. Outputlag — genererer forudsigelser.

Hvert lag har flere neuroner; outputtet fra ét lag bliver input til det næste.

Lagets vægte og bias

Tidligere gemte en neuron sine vægte som en vektor og bias som en skalar. Et lag indeholder dog mange neuroner, så dets vægte bliver en matrix, hvor hver række gemmer vægtene for én neuron. Bias for alle neuroner danner en vektor.

For et lag med 3 input og 2 neuroner:

Her er $W_{ij}$ vægten fra den $j$-te input til den $i$-te neuron; $b_i$ er bias for neuron $i$.

Fremadpropagering

Fremadpropagering aktiverer hver neuron ved at beregne en vægtet sum, tilføje bias og anvende aktiveringsfunktionen.

Tidligere brugte en enkelt neuron:

[ z = W \cdot x + b ]

Nu, da hver række af (W) er en neurons vægtvektor, beregner matrixmultiplikation mellem vægtmatricen og inputvektoren automatisk alle neuroners vægtede summer på én gang.

For at tilføje bias til outputtene fra de respektive neuroner, skal der også tilføjes en vektor af bias:

Til sidst anvendes aktiveringsfunktionen på resultatet — sigmoid eller ReLU i dette tilfælde. Den resulterende formel for fremadpropagering i laget er som følger:

hvor $a$ er vektoren af neuronaktiveringer (output).

Lagklasse

Da MLP'er er opbygget af lag, defineres en dedikeret Layer-klasse. Dens attributter:

• inputs: inputvektor (n_inputs elementer);
• outputs: rå neuronudgange (n_neurons elementer);
• weights: vægtmatrix;
• biases: biasvektor;
• activation_function: aktiveringsfunktion anvendt i laget.

Vægte og biaser initialiseres med tilfældige værdier fra en uniform fordeling i ([-1, 1]). inputs og outputs initialiseres som nul-fyldte NumPy-arrays for at sikre ensartede former til senere backpropagation.

class Layer:
    def __init__(self, n_inputs, n_neurons, activation_function):
        self.inputs = np.zeros((n_inputs, 1))
        self.outputs = np.zeros((n_neurons, 1))
        self.weights = ...
        self.biases = ...
        self.activation = activation_function

Forward-metode

Fremadpropagering for et lag beregner rå udgange og anvender aktiveringsfunktionen:

def forward(self, inputs):
    self.inputs = np.array(inputs).reshape(-1, 1)
    # Raw outputs: weighted sum + bias
    self.outputs = ...
    # Apply activation
    return ...

Omformning af input til en kolonnevektor sikrer, at den multipliceres korrekt med vægtmatricen og matcher de forventede dimensioner gennem hele netværket.