Perceptron-Kerrokset
Perceptron on yksinkertaisin neuroverkko, joka koostuu vain yhdestä neuronista. Kuitenkin monimutkaisempien ongelmien ratkaisemiseksi luodaan malli nimeltä monikerroksinen perceptron (MLP). Monikerroksinen perceptron koostuu yhdestä tai useammasta piilokerroksesta. Monikerroksisen perceptronin rakenne on seuraava:
- Syötekerros: vastaanottaa syötteenä annetun datan;
- Piilokerrokset: käsittelevät dataa ja tunnistavat kaavoja.
- Lähtökerros: tuottaa lopullisen ennusteen tai luokituksen.
Yleisesti ottaen jokainen kerros koostuu useista neuroneista, ja yhden kerroksen lähtö toimii seuraavan kerroksen syötteenä.
Kerroksen painot ja biasit
Ennen kerroksen toteuttamista on tärkeää ymmärtää, miten jokaisen neuronin painot ja biasit tallennetaan. Edellisessä luvussa opit tallentamaan yhden neuronin painot vektorina ja sen biasin skalaarina (yksittäinen luku).
Koska kerros koostuu useista neuroneista, on luontevaa esittää painot matriisina, jossa jokainen rivi vastaa tietyn neuronin painoja. Vastaavasti biasit voidaan esittää vektorina, jonka pituus on yhtä suuri kuin neuronien määrä.
Kun kerroksessa on 3 syötettä ja 2 neuronia, sen painot tallennetaan 2×3 matriisiin W ja biasit 2×1 vektoriin b, jotka näyttävät seuraavilta:
W=[W11W21W12W22W13W23]b=[b1b2]Tässä elementti Wij edustaa j. syötteen painoa i. neuronille, joten ensimmäinen rivi sisältää ensimmäisen neuronin painot ja toinen rivi toisen neuronin painot. Elementti bi edustaa i. neuronin biasia (kaksi neuronia – kaksi biasia).
Eteenpäinlevitys
Eteenpäinlevitys jokaisessa kerroksessa tarkoittaa, että jokainen sen neuroni aktivoidaan laskemalla syötteiden painotettu summa, lisäämällä bias ja soveltamalla aktivointifunktiota.
Aiemmin yksittäisen neuronin kohdalla laskit syötteiden painotetun summan suorittamalla pistetulon syötevektorin ja painovektorin välillä sekä lisäämällä biasin.
Koska jokainen painomatriisin rivi sisältää tietyn neuronin painovektorin, sinun tarvitsee nyt vain suorittaa pistetulo jokaisen rivin ja syötevektorin välillä. Onneksi juuri tämän matriisikertolasku tekee:
Lisätäksesi biasit kunkin neuronin ulostuloon, tulee lisätä myös bias-vektori:
Lopuksi aktivointifunktio sovelletaan tulokseen — sigmoid tai ReLU tässä tapauksessa. Lopullinen kaava eteenpäinlevitykselle kerroksessa on seuraava:
a=activation(Wx+b)missä a on neuronien aktivaatioiden (ulostulojen) vektori.
Kerrosluokka
Perceptronin perusrakennuspalikoita ovat sen kerrokset, joten on järkevää luoda erillinen Layer-luokka. Sen attribuutteihin kuuluvat:
inputs: syötteiden vektori (n_inputson syötteiden määrä);outputs: neuronien raaka lähtöarvojen vektori (ennen aktivointifunktion soveltamista) (n_neuronson neuronien määrä);weights: painomatriisi;biases: bias-vektori;activation_function: kerroksessa käytetty aktivointifunktio.
Kuten yksittäisen neuronin toteutuksessa, weights ja biases alustetaan satunnaisilla arvoilla väliltä -1 ja 1 käyttäen tasajakaumaa.
class Layer:
def __init__(self, n_inputs, n_neurons, activation_function):
self.inputs = np.zeros((n_inputs, 1))
self.outputs = np.zeros((n_neurons, 1))
self.weights = ...
self.biases = ...
self.activation = activation_function
Attribuutteja inputs ja outputs käytetään myöhemmin takaisinkytkennässä, joten ne kannattaa alustaa nollilla täytetyiksi NumPy-taulukoiksi.
inputs ja outputs alustaminen nollilla täytetyiksi NumPy-taulukoiksi ehkäisee virheitä eteen- ja taaksepäin suuntautuvissa laskuissa. Tämä takaa myös yhtenäisyyden kerrosten välillä, mahdollistaen sujuvat matriisilaskut ilman lisätarkistuksia.
Eteenpäin kulku voidaan toteuttaa forward()-metodissa, jossa outputs lasketaan inputs-vektorin perusteella käyttäen NumPy-kirjastoa, yllä olevan kaavan mukaisesti:
def forward(self, inputs):
self.inputs = np.array(inputs).reshape(-1, 1)
# Raw outputs
self.outputs = ...
# Applying the activation function
return ...
Muotoilemalla inputs sarakevektoriksi varmistetaan oikea matriisikertolasku painomatriisin kanssa eteenpäin syötössä. Tämä estää muotovirheet ja mahdollistaa sujuvat laskutoimitukset kaikissa kerroksissa.
1. Mikä tekee monikerroksisesta perceptronista (MLP) tehokkaamman kuin yksinkertainen perceptron?
2. Miksi käytämme tätä koodia ennen kuin kerromme inputs painomatriisilla?
Kiitos palautteestasi!
Kysy tekoälyä
Kysy tekoälyä
Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme
Awesome!
Completion rate improved to 4
Perceptron-Kerrokset
Pyyhkäise näyttääksesi valikon
Perceptron on yksinkertaisin neuroverkko, joka koostuu vain yhdestä neuronista. Kuitenkin monimutkaisempien ongelmien ratkaisemiseksi luodaan malli nimeltä monikerroksinen perceptron (MLP). Monikerroksinen perceptron koostuu yhdestä tai useammasta piilokerroksesta. Monikerroksisen perceptronin rakenne on seuraava:
- Syötekerros: vastaanottaa syötteenä annetun datan;
- Piilokerrokset: käsittelevät dataa ja tunnistavat kaavoja.
- Lähtökerros: tuottaa lopullisen ennusteen tai luokituksen.
Yleisesti ottaen jokainen kerros koostuu useista neuroneista, ja yhden kerroksen lähtö toimii seuraavan kerroksen syötteenä.
Kerroksen painot ja biasit
Ennen kerroksen toteuttamista on tärkeää ymmärtää, miten jokaisen neuronin painot ja biasit tallennetaan. Edellisessä luvussa opit tallentamaan yhden neuronin painot vektorina ja sen biasin skalaarina (yksittäinen luku).
Koska kerros koostuu useista neuroneista, on luontevaa esittää painot matriisina, jossa jokainen rivi vastaa tietyn neuronin painoja. Vastaavasti biasit voidaan esittää vektorina, jonka pituus on yhtä suuri kuin neuronien määrä.
Kun kerroksessa on 3 syötettä ja 2 neuronia, sen painot tallennetaan 2×3 matriisiin W ja biasit 2×1 vektoriin b, jotka näyttävät seuraavilta:
W=[W11W21W12W22W13W23]b=[b1b2]Tässä elementti Wij edustaa j. syötteen painoa i. neuronille, joten ensimmäinen rivi sisältää ensimmäisen neuronin painot ja toinen rivi toisen neuronin painot. Elementti bi edustaa i. neuronin biasia (kaksi neuronia – kaksi biasia).
Eteenpäinlevitys
Eteenpäinlevitys jokaisessa kerroksessa tarkoittaa, että jokainen sen neuroni aktivoidaan laskemalla syötteiden painotettu summa, lisäämällä bias ja soveltamalla aktivointifunktiota.
Aiemmin yksittäisen neuronin kohdalla laskit syötteiden painotetun summan suorittamalla pistetulon syötevektorin ja painovektorin välillä sekä lisäämällä biasin.
Koska jokainen painomatriisin rivi sisältää tietyn neuronin painovektorin, sinun tarvitsee nyt vain suorittaa pistetulo jokaisen rivin ja syötevektorin välillä. Onneksi juuri tämän matriisikertolasku tekee:
Lisätäksesi biasit kunkin neuronin ulostuloon, tulee lisätä myös bias-vektori:
Lopuksi aktivointifunktio sovelletaan tulokseen — sigmoid tai ReLU tässä tapauksessa. Lopullinen kaava eteenpäinlevitykselle kerroksessa on seuraava:
a=activation(Wx+b)missä a on neuronien aktivaatioiden (ulostulojen) vektori.
Kerrosluokka
Perceptronin perusrakennuspalikoita ovat sen kerrokset, joten on järkevää luoda erillinen Layer-luokka. Sen attribuutteihin kuuluvat:
inputs: syötteiden vektori (n_inputson syötteiden määrä);outputs: neuronien raaka lähtöarvojen vektori (ennen aktivointifunktion soveltamista) (n_neuronson neuronien määrä);weights: painomatriisi;biases: bias-vektori;activation_function: kerroksessa käytetty aktivointifunktio.
Kuten yksittäisen neuronin toteutuksessa, weights ja biases alustetaan satunnaisilla arvoilla väliltä -1 ja 1 käyttäen tasajakaumaa.
class Layer:
def __init__(self, n_inputs, n_neurons, activation_function):
self.inputs = np.zeros((n_inputs, 1))
self.outputs = np.zeros((n_neurons, 1))
self.weights = ...
self.biases = ...
self.activation = activation_function
Attribuutteja inputs ja outputs käytetään myöhemmin takaisinkytkennässä, joten ne kannattaa alustaa nollilla täytetyiksi NumPy-taulukoiksi.
inputs ja outputs alustaminen nollilla täytetyiksi NumPy-taulukoiksi ehkäisee virheitä eteen- ja taaksepäin suuntautuvissa laskuissa. Tämä takaa myös yhtenäisyyden kerrosten välillä, mahdollistaen sujuvat matriisilaskut ilman lisätarkistuksia.
Eteenpäin kulku voidaan toteuttaa forward()-metodissa, jossa outputs lasketaan inputs-vektorin perusteella käyttäen NumPy-kirjastoa, yllä olevan kaavan mukaisesti:
def forward(self, inputs):
self.inputs = np.array(inputs).reshape(-1, 1)
# Raw outputs
self.outputs = ...
# Applying the activation function
return ...
Muotoilemalla inputs sarakevektoriksi varmistetaan oikea matriisikertolasku painomatriisin kanssa eteenpäin syötössä. Tämä estää muotovirheet ja mahdollistaa sujuvat laskutoimitukset kaikissa kerroksissa.
1. Mikä tekee monikerroksisesta perceptronista (MLP) tehokkaamman kuin yksinkertainen perceptron?
2. Miksi käytämme tätä koodia ennen kuin kerromme inputs painomatriisilla?
Kiitos palautteestasi!