Implementierung Eines Einzelnen Neurons

In diesem Beispiel wird ein neuronales Netzwerk mit einem Neuron für eine binäre Klassifizierungsaufgabe (z. B. Spam-Erkennung) erstellt. Das Neuron erhält numerische Merkmale und gibt einen Wert zwischen 0 und 1 aus, der die Wahrscheinlichkeit angibt, dass eine E-Mail Spam (1) oder Ham (0) ist.

Schritt-für-Schritt:

1. Multiplikation jedes Eingabewerts mit seinem Gewicht;
2. Summierung aller gewichteten Eingaben;
3. Hinzufügen eines Bias, um die Ausgabe zu verschieben;
4. Weitergabe des Ergebnisses durch eine Sigmoid-Aktivierungsfunktion, die den Wert in den Bereich ((0,1)) für Wahrscheinlichkeitsausgaben umwandelt.

Neuron-Klasse

Ein Neuron muss seine Gewichte und Bias speichern, wodurch sich eine Klasse als natürliche Möglichkeit zur Gruppierung dieser zusammengehörigen Eigenschaften anbietet.

class Neuron:
    def __init__(self, n_inputs):
        self.weights = ...
        self.bias = ...

• weights: zufällig initialisierte Werte (je einer pro Eingabe);
• bias: ein einzelner zufälliger Wert. Beide werden aus einer gleichverteilten Verteilung im Bereich ([-1, 1]) mit np.random.uniform() gezogen, um Symmetrie zu vermeiden.

Vorwärtspropagation

Die Methode activate() des Neurons berechnet die gewichtete Summe und wendet die Sigmoidfunktion an. Die gewichtete Summe verwendet das Skalarprodukt der Gewichte und Eingaben:

input_sum_with_bias = np.dot(self.weights, inputs) + self.bias

Anschließend wird die Aktivierungsfunktion angewendet, um die endgültige Ausgabe des Neurons zu erhalten.

Die Verwendung von np.dot() vermeidet Schleifen und berechnet die gesamte gewichtete Summe in einer Zeile. Die Sigmoidfunktion wandelt diesen Rohwert anschließend in eine Wahrscheinlichkeit um:

def activate(self, inputs):
    input_sum_with_bias = ...
    output = ...
    return output

Sigmoid-Aktivierung

Für einen Rohwert (z) gilt für die Sigmoid-Funktion:

Sie ordnet jede Zahl einem Wert im Bereich ((0,1)) zu und ist daher ideal für binäre Klassifikation, bei der die Ausgabe des Neurons eine Wahrscheinlichkeit darstellen muss.

Mit dieser Formel lässt sich die Sigmoid-Funktion als einfache Funktion in Python implementieren:

def sigmoid(z):
    return 1 / (1 + np.exp(-z))

Die Formel für die ReLU-Funktion lautet wie folgt. Sie setzt die Ausgabe auf $z$, wenn dieser positiv ist, und andernfalls auf 0:

def relu(z):
    return np.maximum(0, z)