Tässä vaiheessa rakennetaan neuroverkko, jossa on vain yksi neuroni. Esimerkkinä käytetään binääriluokittelutehtävää, kuten roskapostin tunnistusta, jossa 0 tarkoittaa tavallista (ei-roskaposti) sähköpostia ja 1 tarkoittaa roskapostia.

Neuroni ottaa syötteinä sähköposteihin liittyviä numeerisia piirteitä ja tuottaa ulostulon väliltä 0 ja 1, mikä kuvaa todennäköisyyttä, että sähköposti on roskapostia.

Vaiheittainen eteneminen:

1. Jokainen syöte kerrotaan vastaavalla painolla. Painot ovat opittavia parametreja, jotka määrittävät kunkin syötteen merkityksen;
2. Kaikki painotetut syötteet lasketaan yhteen;
3. Lisätään ylimääräinen parametri nimeltä bias syötesummaan. Bias mahdollistaa neuronin ulostulon siirtämisen ylös- tai alaspäin, mikä tuo mallille joustavuutta;
4. Syötesumma syötetään aktivointifunktion läpi. Koska käytössä on vain yksi neuroni, joka tuottaa suoraan lopullisen ulostulon (todennäköisyyden), käytetään sigmoidifunktiota, joka puristaa arvot välille $(0, 1)$.

Neuroniluokka

Neuronin täytyy tallentaa painonsa ja biasinsa, joten luokka on luonnollinen tapa ryhmitellä nämä ominaisuudet.

class Neuron:
    def __init__(self, n_inputs):  
        self.weights = ...
        self.bias = ...

• weights: lista satunnaisesti alustetuista arvoista, jotka määrittävät, kuinka tärkeä kukin syöte (n_inputs on syötteiden määrä) on neuronille;
• bias: satunnaisesti alustettu arvo, joka auttaa neuronia tekemään joustavia päätöksiä.

Painot ja bias tulee alustaa satunnaisesti pienillä arvoilla välillä -1 ja 1, käyttäen tasajakaumaa, jotta symmetria rikkoutuu ja eri neuronit oppivat erilaisia piirteitä.

Yhteenvetona, NumPy tarjoaa random.uniform()-funktion, jolla voidaan luoda satunnaisluku tai taulukko (määrittämällä size-argumentti) satunnaislukuja tasajakaumasta annetulla [low, high)-välillä.

import numpy as np

np.random.uniform(low, high, size=...)

Eteenpäinlevitys (Forward Propagation)

Lisäksi Neuron-luokassa tulisi olla activate()-metodi, joka laskee syötteiden painotetun summan ja käyttää aktivointifunktiota (tässä tapauksessa sigmoidia).

Jos meillä on kaksi yhtä pitkää vektoria (weights ja inputs), painotettu summa voidaan laskea näiden vektorien pistetulona:

Tämän avulla painotettu summa voidaan laskea yhdellä koodirivillä käyttämällä numpy.dot()-funktiota, jolloin silmukkaa ei tarvita. Bias voidaan lisätä suoraan tulokseen, jolloin saadaan input_sum_with_bias. Lopullinen tulos lasketaan käyttämällä sigmoidista aktivointifunktiota:

def activate(self, inputs):
    input_sum_with_bias = ...
    output = ...

    return output

Aktivointifunktiot

Sigmoidin kaava on seuraava, missä $z$ tarkoittaa syötteiden painotettua summaa, johon on lisätty bias (raaka lähtöarvo) tälle neuronille:

Tämän kaavan avulla sigmoid voidaan toteuttaa yksinkertaisena funktiona Pythonissa:

def sigmoid(z):
    return 1 / (1 + np.exp(-z))

ReLU-funktion kaava on seuraava; se asettaa lähtöarvoksi $z$, jos se on positiivinen, ja 0 muuten:

def relu(z):
    return np.maximum(0, z)