Perceptronkerrokset

Perceptroni on yksinkertaisin neuroverkko—vain yksi neuroni. Monimutkaisempia tehtäviä varten käytetään monikerroksista perceptronia (MLP), joka sisältää yhden tai useamman piilokerroksen mahdollistaen verkon oppia monipuolisempia rakenteita.

MLP koostuu seuraavista:

1. Syötekerros — vastaanottaa datan;
2. Piilokerrokset — tunnistavat rakenteita;
3. Ulostulokerros — tuottaa ennusteet.

Jokaisessa kerroksessa on useita neuroneita; yhden kerroksen ulostulo toimii seuraavan kerroksen syötteenä.

Kerroksen painot ja biasit

Aiemmin neuroni tallensi painonsa vektorina ja biasin skalaarina. Kerroksessa on kuitenkin useita neuroneita, joten sen painot muodostavat matriisin, jossa jokainen rivi sisältää yhden neuronin painot. Kaikkien neuronien biasit muodostavat vektorin.

Kerros, jossa on 3 syötettä ja 2 neuronia:

Tässä $W_{ij}$ on paino $j$:nnen syötteen ja $i$:nnen neuronin välillä; $b_i$ on neuronin $i$ bias.

Eteenpäinlevitys

Eteenpäinlevityksessä jokainen neuroni aktivoituu laskemalla painotettu summa, lisäämällä bias ja soveltamalla aktivointifunktiota.

Aiemmin yksittäinen neuroni käytti:

[ z = W \cdot x + b ]

Nyt, koska jokainen (W):n rivi on yhden neuronin painovektori, painomatriisin ja syötevektorin matriisikertolasku laskee automaattisesti kaikkien neuronien painotetut summat kerralla.

Lisätäksemme biasit kunkin neuronin ulostuloihin, tulee lisätä myös bias-vektori:

Lopuksi tulokseen sovelletaan aktivointifunktiota — sigmoid tai ReLU tässä tapauksessa. Kerroksen eteenpäinlevityksen lopullinen kaava on seuraava:

missä $a$ on neuronien aktivaatioiden (ulostulojen) vektori.

Kerrosluokka

Koska MLP:t rakentuvat kerroksista, määritellään erillinen Layer-luokka. Sen attribuutit:

• inputs: syötevektori (n_inputs alkiota);
• outputs: neuronien raakaulostulot (n_neurons alkiota);
• weights: painomatriisi;
• biases: bias-vektori;
• activation_function: kerroksessa käytetty aktivointifunktio.

Painot ja biasit alustetaan satunnaisilla arvoilla tasaisesta jakaumasta välillä ([-1, 1]). inputs ja outputs alustetaan nollilla täytetyiksi NumPy-taulukoiksi, jotta muoto pysyy yhtenäisenä myöhempää takaisinkuljetusta varten.

class Layer:
    def __init__(self, n_inputs, n_neurons, activation_function):
        self.inputs = np.zeros((n_inputs, 1))
        self.outputs = np.zeros((n_neurons, 1))
        self.weights = ...
        self.biases = ...
        self.activation = activation_function

Forward-metodi

Kerroksen eteenpäin kuljetus laskee raakaulostulot ja soveltaa aktivointifunktiota:

def forward(self, inputs):
    self.inputs = np.array(inputs).reshape(-1, 1)
    # Raw outputs: weighted sum + bias
    self.outputs = ...
    # Apply activation
    return ...

Syötteen muotoilu sarakevektoriksi varmistaa, että se kerrotaan oikein painomatriisin kanssa ja että mitat täsmäävät koko verkossa.