Vi ønsker nu at opbygge et neuralt netværk med en enkelt neuron. Som eksempel kan vi bruge det til en binær klassifikationsopgave, såsom spam-detektion, hvor 0 repræsenterer en ham (ikke-spam) e-mail og 1 repræsenterer en spam-e-mail.

Neuronen tager numeriske egenskaber relateret til e-mails som input og producerer et output mellem 0 og 1, hvilket repræsenterer sandsynligheden for, at en e-mail er spam.

Processen trin for trin:

1. Hver input ganges med en tilsvarende vægt. Vægtene er lærbare parametre, der bestemmer betydningen af hvert input;
2. Alle de vægtede input summeres;
3. En yderligere parameter kaldet bias lægges til inputsummen. Bias gør det muligt for neuronen at skifte sit output op eller ned og giver fleksibilitet til modellen;
4. Inputsummen sendes derefter gennem en aktiveringsfunktion. Da vi kun har en enkelt neuron, som direkte producerer det endelige output (en sandsynlighed), anvender vi sigmoid-funktionen, der komprimerer værdier til intervallet $(0, 1)$.

Neuron-klasse

En neuron skal gemme sine vægte og bias, hvilket gør en klasse til en naturlig måde at gruppere disse relaterede egenskaber på.

class Neuron:
    def __init__(self, n_inputs):  
        self.weights = ...
        self.bias = ...

• weights: en liste af tilfældigt initialiserede værdier, der bestemmer, hvor vigtig hver input (n_inputs er antallet af inputs) er for neuronet;
• bias: en tilfældig initialiseret værdi, der hjælper neuronet med at træffe fleksible beslutninger.

Vægte og bias skal tilfældigt initialiseres med små værdier mellem -1 og 1, trukket fra en uniform fordeling, for at bryde symmetri og sikre, at forskellige neuroner lærer forskellige egenskaber.

Til opsummering tilbyder NumPy funktionen random.uniform() til at generere et tilfældigt tal eller et array (ved at angive argumentet size) af tilfældige tal fra en uniform fordeling inden for intervallet [low, high).

import numpy as np

np.random.uniform(low, high, size=...)

Fremadrettet Propagering

Derudover bør Neuron-klassen inkludere en activate()-metode, som beregner den vægtede sum af inputtene og anvender aktiveringsfunktionen (sigmoid i dette tilfælde).

Hvis vi har to vektorer af samme længde (weights og inputs), kan den vægtede sum beregnes ved hjælp af dot-produktet af disse vektorer:

Dette gør det muligt at beregne den vægtede sum i én linje kode ved hjælp af funktionen numpy.dot(), hvilket eliminerer behovet for en løkke. Bias kan derefter lægges direkte til resultatet for at få input_sum_with_bias. Outputtet beregnes derefter ved at anvende sigmoid aktiveringsfunktionen:

def activate(self, inputs):
    input_sum_with_bias = ...
    output = ...

    return output

Aktiveringsfunktioner

Formlen for sigmoid-funktionen er som følger, hvor $z$ repræsenterer den vægtede sum af input med tilføjet bias (rå outputværdi) for denne specifikke neuron:

Ved brug af denne formel kan sigmoid implementeres som en simpel funktion i Python:

def sigmoid(z):
    return 1 / (1 + np.exp(-z))

Formlen for ReLU-funktionen er som følger, hvilket grundlæggende sætter output lig med $z$, hvis det er positivt, og 0 ellers:

def relu(z):
    return np.maximum(0, z)