Implementierung Eines Einzelnen Neurons

In diesem Beispiel erstellen wir ein neuronales Netzwerk mit einem Neuron für eine binäre Klassifizierungsaufgabe (z. B. Spam-Erkennung). Das Neuron erhält numerische Merkmale und gibt einen Wert zwischen 0 und 1 aus, der die Wahrscheinlichkeit angibt, dass eine E-Mail Spam (1) oder Ham (0) ist.

Schrittweise Vorgehensweise:

1. Jede Eingabe mit ihrem Gewicht multiplizieren;
2. Alle gewichteten Eingaben aufsummieren;
3. Einen Bias hinzufügen, um die Ausgabe zu verschieben;
4. Das Ergebnis durch eine Sigmoid-Aktivierung leiten, die es in den Bereich ((0,1)) für die Wahrscheinlichkeitsausgabe umwandelt.

Neuron-Klasse

Ein Neuron muss seine Gewichte und den Bias speichern, wodurch sich eine Klasse als natürliche Möglichkeit zur Gruppierung dieser zusammengehörigen Eigenschaften anbietet.

class Neuron:
    def __init__(self, n_inputs):
        self.weights = ...
        self.bias = ...

• weights: Zufällig initialisierte Werte (je einer pro Eingabe);
• bias: Ein einzelner Zufallswert. Beide werden aus einer gleichverteilten Verteilung in ([-1, 1]) mit np.random.uniform() gezogen, um Symmetrie zu vermeiden.

Vorwärtspropagation

Die Methode activate() des Neurons berechnet die gewichtete Summe und wendet die Sigmoidfunktion an. Die gewichtete Summe verwendet das Skalarprodukt der Gewichte und Eingaben:

input_sum_with_bias = np.dot(self.weights, inputs) + self.bias

Anschließend wird die Aktivierungsfunktion angewendet, um die endgültige Ausgabe des Neurons zu erhalten.

Die Verwendung von np.dot() vermeidet Schleifen und berechnet die gesamte gewichtete Summe in einer Zeile. Die Sigmoidfunktion transformiert diesen Rohwert anschließend in eine Wahrscheinlichkeit:

def activate(self, inputs):
    input_sum_with_bias = ...
    output = ...
    return output

Sigmoid-Aktivierung

Für eine rohe Ausgabe (z) gilt für die Sigmoidfunktion:

Sie ordnet jede Zahl auf den Bereich ((0,1)) ab und ist daher ideal für binäre Klassifikation, bei der die Ausgabe des Neurons eine Wahrscheinlichkeit darstellen muss.

Mit dieser Formel lässt sich die Sigmoidfunktion als einfache Funktion in Python implementieren:

def sigmoid(z):
    return 1 / (1 + np.exp(-z))

Die Formel für die ReLU-Funktion lautet wie folgt. Sie setzt die Ausgabe auf $z$, falls diese positiv ist, und auf 0 andernfalls:

def relu(z):
    return np.maximum(0, z)