Perceptroni viittaa yksinkertaisimpaan neuroverkkotyyppiin, joka koostuu vain yhdestä neuronista. Monimutkaisempien ongelmien ratkaisemiseksi käytetään mallia nimeltä monikerroksinen perceptroni (MLP). Monikerroksinen perceptroni sisältää yhden tai useamman piilokerroksen, joiden avulla verkko oppii monimutkaisia kuvioita datasta.

Monikerroksisen perceptronin rakenne sisältää:

1. Syötekerros: vastaanottaa syötteen;
2. Piilokerrokset: käsittelevät dataa ja tunnistavat merkityksellisiä kuvioita;
3. Lähtökerros: tuottaa lopullisen ennusteen tai luokituksen.

Jokainen kerros koostuu useista neuroneista, ja yhden kerroksen lähtö toimii seuraavan kerroksen syötteenä.

Kerroksen painot ja biasit

Ennen kerroksen toteuttamista on tärkeää ymmärtää, miten jokaisen neuronin painot ja biasit tallennetaan. Edellisessä luvussa opit, kuinka yksittäisen neuronin painot tallennetaan vektorina ja bias skalaarina (yksittäinen luku).

Koska kerros koostuu useista neuroneista, on luonnollista esittää painot matriisina, jossa jokainen rivi vastaa tietyn neuronin painoja. Vastaavasti biasit voidaan esittää vektorina, jonka pituus on yhtä suuri kuin neuronien määrä.

Kun kerroksessa on $3$ syötettä ja $2$ neuronia, sen painot tallennetaan $2 \times 3$ matriisiin $W$ ja biasit tallennetaan $2 \times 1$ vektoriin $b$, jotka näyttävät seuraavilta:

Tässä alkio $W_{ij}$ edustaa $j$. syötteen painoa $i$. neuronille, joten ensimmäinen rivi sisältää ensimmäisen neuronin painot ja toinen rivi toisen neuronin painot. Alkio $b_i$ edustaa $i$. neuronin biasia (kaksi neuronia – kaksi biasia).

Eteenpäinlevitys

Eteenpäinlevityksen suorittaminen jokaisessa kerroksessa tarkoittaa jokaisen neuronin aktivoimista laskemalla syötteiden painotettu summa, lisäämällä bias ja soveltamalla aktivointifunktiota.

Aiemmin yksittäisen neuronin kohdalla toteutit syötteiden painotetun summan laskemalla pistetulon syötevektorin ja painovektorin välillä sekä lisäämällä biasin.

Koska jokainen painomatriisin rivi sisältää tietyn neuronin painovektorin, tarvitsee nyt vain suorittaa pistetulo jokaisen rivin ja syötevektorin välillä. Onneksi juuri tämän matriisikertolasku tekee:

Lisätäkseen biasit kunkin neuronin ulostuloon, tulee lisätä myös bias-vektori:

Lopuksi aktivointifunktio sovelletaan tulokseen — sigmoid tai ReLU tässä tapauksessa. Eteenpäinlevityksen lopullinen kaava kerroksessa on seuraava:

missä $a$ on neuronien aktivaatioiden (ulostulojen) vektori.

Kerrosluokka

Perceptronin perusrakennuspalikoita ovat sen kerrokset, joten on järkevää luoda erillinen Layer-luokka. Sen attribuutteihin kuuluvat:

• inputs: syötteiden vektori (n_inputs on syötteiden määrä);
• outputs: neuronien raakaulostuloarvojen vektori (ennen aktivointifunktion soveltamista) (n_neurons on neuronien määrä);
• weights: painomatriisi;
• biases: bias-vektori;
• activation_function: kerroksessa käytetty aktivointifunktio.

Kuten yksittäisen neuronin toteutuksessa, weights ja biases alustetaan satunnaisilla arvoilla välillä -1 ja 1, jotka on poimittu tasaisesta jakaumasta.

class Layer:
    def __init__(self, n_inputs, n_neurons, activation_function):
        self.inputs = np.zeros((n_inputs, 1))
        self.outputs = np.zeros((n_neurons, 1))
        self.weights = ...
        self.biases = ...
        self.activation = activation_function

Attribuutteja inputs ja outputs käytetään myöhemmin takaisinkytkennässä, joten ne kannattaa alustaa nollilla täytetyiksi NumPy-taulukoiksi.

Eteenpäin suuntautuva laskenta voidaan toteuttaa forward()-metodissa, jossa outputs lasketaan inputs-vektorin perusteella käyttäen NumPya yllä olevan kaavan mukaisesti:

def forward(self, inputs):
    self.inputs = np.array(inputs).reshape(-1, 1)
    # Raw outputs
    self.outputs = ...
    # Applying the activation function
    return ...