Perceptron-Kerrokset

Perceptron on yksinkertaisin neuroverkko—vain yksi neuroni. Monimutkaisempia tehtäviä varten käytetään monikerroksista perceptronia (MLP), joka sisältää yhden tai useamman piilokerroksen mahdollistaen verkon oppia monipuolisempia rakenteita.

MLP koostuu seuraavista:

1. Syötekerros — vastaanottaa tiedot;
2. Piilokerrokset — tunnistavat rakenteita;
3. Lähtökerros — tuottaa ennusteet.

Jokaisessa kerroksessa on useita neuroneita; yhden kerroksen lähtö toimii seuraavan kerroksen syötteenä.

Kerroksen painot ja bias-termit

Aiemmin neuroni tallensi painonsa vektorina ja biasin skalaariarvona. Kerroksessa on kuitenkin useita neuroneita, joten painot muodostavat matriisin, jossa jokainen rivi sisältää yhden neuronin painot. Kaikkien neuronien bias-termit muodostavat vektorin.

Kerroksessa, jossa on 3 syötettä ja 2 neuronia:

Tässä $W_{ij}$ on paino $j$:nnen syötteen ja $i$:nnen neuronin välillä; $b_i$ on neuronin $i$ bias.

Eteenpäin kulku

Eteenpäin kulku aktivoi jokaisen neuronin laskemalla painotetun summan, lisäämällä biasin ja soveltamalla aktivointifunktiota.

Aiemmin yksittäinen neuroni käytti:

[ z = W \cdot x + b ]

Nyt, koska jokainen rivi (W):ssä on yhden neuronin painovektori, matriisikertolasku painomatriisin ja syötevektorin välillä laskee automaattisesti kaikkien neuronien painotetut summat kerralla.

Lisätäksemme biasit kunkin neuronin ulostuloihin, tulee lisätä myös bias-vektori:

Lopuksi aktivointifunktio, kuten sigmoid tai ReLU, sovelletaan tulokseen. Kerroksen eteenpäinlevityksen kaava on seuraava:

missä $a$ on neuronien aktivaatioiden (ulostulojen) vektori.

Layer-luokka

Koska MLP:t rakentuvat kerroksista, määritellään erillinen Layer-luokka. Sen attribuutit:

• inputs: syötevektori (n_inputs alkiota);
• outputs: neuronien raakaulostulot (n_neurons alkiota);
• weights: painomatriisi;
• biases: bias-vektori;
• activation_function: kerroksessa käytetty aktivointifunktio.

Painot ja biasit alustetaan satunnaisarvoilla tasaisesta jakaumasta välillä ([-1, 1]). inputs ja outputs alustetaan nollilla täytetyiksi NumPy-taulukoiksi, jotta muoto pysyy yhtenäisenä myöhempää takaisinkuljetusta varten.

class Layer:
    def __init__(self, n_inputs, n_neurons, activation_function):
        self.inputs = np.zeros((n_inputs, 1))
        self.outputs = np.zeros((n_neurons, 1))
        self.weights = ...
        self.biases = ...
        self.activation = activation_function

Forward-metodi

Kerroksen eteenpäin suuntautuva laskenta tuottaa raakatulokset ja soveltaa aktivointia:

def forward(self, inputs):
    self.inputs = np.array(inputs).reshape(-1, 1)
    # Raw outputs: weighted sum + bias
    self.outputs = ...
    # Apply activation
    return ...

Syötteen muotoilu sarakevektoriksi varmistaa, että se kerrotaan oikein painomatriisin kanssa ja vastaa verkon odotettuja mittoja.