Tässä esimerkissä tavoitteena on rakentaa neuroverkko, jossa on yksi neuroni. Sitä käytetään binääriseen luokittelutehtävään, kuten roskapostin tunnistukseen, jossa 0 tarkoittaa tavallista (ei-roskaposti) sähköpostia ja 1 tarkoittaa roskapostia.

Neuroni vastaanottaa syötteinä sähköposteista poimittuja numeerisia piirteitä ja tuottaa ulostulon väliltä 0 ja 1, mikä kuvaa todennäköisyyttä, että kyseessä on roskaposti.

Tässä on vaiheittainen eteneminen:

1. Jokainen syöte kerrotaan vastaavalla painolla; painot ovat opittavia parametreja, jotka määrittävät kunkin syötteen merkityksen;
2. Kaikki painotetut syötteet summataan yhteen;
3. Summattuihin syötteisiin lisätään bias-termi, joka mahdollistaa neuronin ulostulon siirtämisen ja tuo malliin lisää joustavuutta;
4. Summa syötetään aktivointifunktion läpi. Koska yksittäinen neuroni tuottaa suoraan lopullisen ulostulon (todennäköisyyden), käytetään sigmoidifunktiota arvojen puristamiseen välille $(0, 1)$.

Neuroni-luokka

Neuronin täytyy tallentaa painot ja bias, joten luokka on luonteva tapa ryhmitellä nämä ominaisuudet yhteen.

class Neuron:
    def __init__(self, n_inputs):  
        self.weights = ...
        self.bias = ...

• weights: lista satunnaisesti alustetuista arvoista, jotka määrittävät, kuinka tärkeä kukin syöte (n_inputs on syötteiden määrä) on neuronille;
• bias: satunnaisesti alustettu arvo, joka auttaa neuronia tekemään joustavia päätöksiä.

Painot ja bias tulee alustaa satunnaisesti pienillä arvoilla välillä -1 ja 1, käyttäen tasajakaumaa, jotta symmetria rikkoutuu ja eri neuronit oppivat eri piirteitä.

Yhteenvetona, NumPy tarjoaa random.uniform()-funktion, jolla voidaan luoda satunnaisluku tai taulukko (määrittämällä size-argumentti) satunnaislukuja tasajakaumasta annetulla [low, high)-välillä.

import numpy as np

np.random.uniform(low, high, size=...)

Eteenpäinlevitys

Neuron-luokan tulisi sisältää activate()-metodi, joka laskee syötteiden painotetun summan ja soveltaa sitten aktivointifunktiota (tässä tapauksessa sigmoidifunktiota).

Kun kaksi yhtä pitkää vektoria — weights ja inputs — ovat käytettävissä, painotettu summa voidaan laskea tehokkaasti näiden vektorien pistetulolla.

Tämän avulla painotettu summa voidaan laskea yhdellä koodirivillä käyttämällä numpy.dot()-funktiota, jolloin silmukkaa ei tarvita. Bias voidaan lisätä suoraan tulokseen, jolloin saadaan input_sum_with_bias. Lopullinen tulos lasketaan soveltamalla sigmoidista aktivointifunktiota:

def activate(self, inputs):
    input_sum_with_bias = ...
    output = ...

    return output

Aktivointifunktiot

Sigmoidin kaava on seuraava, missä $z$ tarkoittaa syötteiden painotettua summaa, johon on lisätty bias (raaka lähtöarvo) tälle neuronille:

Tämän kaavan avulla sigmoid voidaan toteuttaa yksinkertaisena funktiona Pythonissa:

def sigmoid(z):
    return 1 / (1 + np.exp(-z))

ReLU-funktion kaava on seuraava; se asettaa lähtöarvoksi $z$, jos se on positiivinen, ja 0 muuten:

def relu(z):
    return np.maximum(0, z)