Perzeptron-Schichten

Perzeptron ist das einfachste neuronale Netzwerk—nur ein Neuron. Für komplexere Aufgaben wird ein mehrschichtiges Perzeptron (MLP) verwendet, das eine oder mehrere versteckte Schichten enthält, die es dem Netzwerk ermöglichen, reichhaltigere Muster zu erlernen.

Ein MLP besteht aus:

1. Eingabeschicht — empfängt Daten;
2. Versteckte Schichten — extrahieren Muster;
3. Ausgabeschicht — erzeugt Vorhersagen.

Jede Schicht enthält mehrere Neuronen; die Ausgabe einer Schicht wird zur Eingabe der nächsten.

Schicht-Gewichte und Biases

Zuvor speicherte ein Neuron seine Gewichte als Vektor und den Bias als Skalar. Eine Schicht enthält jedoch viele Neuronen, daher werden die Gewichte zu einer Matrix, wobei jede Zeile die Gewichte eines Neurons speichert. Die Biases aller Neuronen bilden einen Vektor.

Für eine Schicht mit 3 Eingaben und 2 Neuronen:

Hier ist $W_{ij}$ das Gewicht von der $j$-ten Eingabe zum $i$-ten Neuron; $b_i$ ist der Bias des Neurons $i$.

Vorwärtspropagation

Die Vorwärtspropagation aktiviert jedes Neuron, indem sie eine gewichtete Summe berechnet, den Bias addiert und die Aktivierungsfunktion anwendet.

Zuvor verwendete ein einzelnes Neuron:

[ z = W \cdot x + b ]

Da nun jede Zeile von (W) den Gewichtungsvektor eines Neurons darstellt, berechnet die Matrixmultiplikation zwischen der Gewichtungsmatrix und dem Eingabevektor automatisch die gewichteten Summen aller Neuronen gleichzeitig.

Um die Biases zu den Ausgaben der jeweiligen Neuronen hinzuzufügen, sollte ebenfalls ein Bias-Vektor addiert werden:

Abschließend wird die Aktivierungsfunktion auf das Ergebnis angewendet — Sigmoid oder ReLU in diesem Fall. Die resultierende Formel für die Vorwärtsausbreitung in der Schicht lautet:

wobei $a$ der Vektor der Neuronenaktivierungen (Ausgaben) ist.

Layer-Klasse

Da MLPs aus Schichten bestehen, definieren wir eine eigene Layer-Klasse. Ihre Attribute:

• inputs: Eingabevektor (n_inputs Elemente);
• outputs: rohe Neuronen-Ausgaben (n_neurons Elemente);
• weights: Gewichtsmatrix;
• biases: Bias-Vektor;
• activation_function: in der Schicht verwendete Aktivierungsfunktion.

Gewichte und Biases werden mit Zufallswerten aus einer gleichmäßigen Verteilung im Bereich ([-1, 1]) initialisiert. inputs und outputs werden als mit Nullen gefüllte NumPy-Arrays initialisiert, um konsistente Formen für das spätere Backpropagation-Verfahren sicherzustellen.

class Layer:
    def __init__(self, n_inputs, n_neurons, activation_function):
        self.inputs = np.zeros((n_inputs, 1))
        self.outputs = np.zeros((n_neurons, 1))
        self.weights = ...
        self.biases = ...
        self.activation = activation_function

Forward-Methode

Die Vorwärtspropagation für eine Schicht berechnet rohe Ausgaben und wendet die Aktivierungsfunktion an:

def forward(self, inputs):
    self.inputs = np.array(inputs).reshape(-1, 1)
    # Raw outputs: weighted sum + bias
    self.outputs = ...
    # Apply activation
    return ...

Das Umformen der Eingabe in einen Spaltenvektor stellt sicher, dass sie korrekt mit der Gewichtsmatrix multipliziert wird und die erwarteten Dimensionen im gesamten Netzwerk erfüllt werden.