Perceptronikerrokset

Perceptroni on yksinkertaisin neuroverkko—vain yksi neuroni. Monimutkaisempia tehtäviä varten käytetään monikerroksista perceptronia (MLP), jossa on yksi tai useampi piilokerros, jotka mahdollistavat verkon oppia monipuolisempia kuvioita.

MLP koostuu seuraavista:

1. Syötekerros — vastaanottaa datan;
2. Piilokerrokset — tunnistavat kuvioita;
3. Lähtökerros — tuottaa ennusteet.

Jokaisessa kerroksessa on useita neuroneita; yhden kerroksen lähtö toimii seuraavan kerroksen syötteenä.

Kerroksen painot ja biasit

Aiemmin neuroni tallensi painonsa vektorina ja biasin skalaarina. Kerroksessa on kuitenkin monta neuronia, joten sen painot muodostavat matriisin, jossa jokainen rivi sisältää yhden neuronin painot. Kaikkien neuronien biasit muodostavat vektorin.

Kerros, jossa on 3 syötettä ja 2 neuronia:

Tässä $W_{ij}$ on paino $j$:nnen syötteen ja $i$:nnen neuronin välillä; $b_i$ on neuronin $i$ bias.

Eteenpäin suuntautuva laskenta

Eteenpäin suuntautuva laskenta aktivoi jokaisen neuronin laskemalla painotetun summan, lisäämällä biasin ja soveltamalla aktivointifunktiota.

Aiemmin yksittäinen neuroni käytti:

[ z = W \cdot x + b ]

Nyt, koska jokainen rivi matriisissa (W) on yhden neuronin painovektori, painomatriisin ja syötevektorin matriisikertolasku laskee automaattisesti kaikkien neuronien painotetut summat kerralla.

Lisätäksemme biasit kunkin neuronin ulostuloihin, tulee lisätä myös bias-vektori:

Lopuksi tulokseen sovelletaan aktivointifunktiota — sigmoid tai ReLU tässä tapauksessa. Kerroksen eteenpäinlevityksen lopullinen kaava on seuraava:

missä $a$ on neuronien aktivaatioiden (ulostulojen) vektori.

Kerrosluokka

Koska MLP:t koostuvat kerroksista, määritellään erillinen Layer-luokka. Sen attribuutit:

• inputs: syötevektori (n_inputs alkiota);
• outputs: neuronien raakaulostulot (n_neurons alkiota);
• weights: painomatriisi;
• biases: bias-vektori;
• activation_function: kerroksessa käytetty aktivointifunktio.

Painot ja biasit alustetaan satunnaisilla arvoilla tasaisesta jakaumasta välillä ([-1, 1]). inputs ja outputs alustetaan nollilla täytetyiksi NumPy-taulukoiksi, jotta muoto pysyy yhtenäisenä myöhempää takaisinkuljetusta varten.

class Layer:
    def __init__(self, n_inputs, n_neurons, activation_function):
        self.inputs = np.zeros((n_inputs, 1))
        self.outputs = np.zeros((n_neurons, 1))
        self.weights = ...
        self.biases = ...
        self.activation = activation_function

Forward-metodi

Kerroksen eteenpäin kuljetus laskee raakaulostulot ja soveltaa aktivointia:

def forward(self, inputs):
    self.inputs = np.array(inputs).reshape(-1, 1)
    # Raw outputs: weighted sum + bias
    self.outputs = ...
    # Apply activation
    return ...

Syötteen muotoilu sarakevektoriksi varmistaa, että se kerrotaan oikein painomatriisin kanssa ja vastaa verkon odotettuja mittoja.