Neuroverkon kouluttaminen on iteraatiivinen prosessi, jossa malli parantaa suoritustaan vähitellen säätämällä painoja ja bias-arvoja minimoidakseen häviöfunktion. Tätä prosessia kutsutaan gradienttipohjaiseksi optimoinniksi, ja se noudattaa jäsenneltyä algoritmia.

Yleinen algoritmi

Aineisto syötetään ensin verkon läpi useita kertoja silmukassa, jossa jokaista täyttä läpikäyntiä kutsutaan epookiksi. Jokaisen epookin aikana data sekoitetaan, jotta malli ei opi esimerkkien järjestykseen perustuvia kaavoja. Sekoittaminen lisää satunnaisuutta, mikä johtaa kestävämpään malliin.

Jokaiselle harjoitusesimerkille malli suorittaa eteenpäinlevityksen, jossa syötteet kulkevat verkon läpi kerros kerrokselta tuottaen ulostulon. Tämä ulostulo verrataan todelliseen tavoitearvoon, jolloin lasketaan häviö.

Seuraavaksi malli soveltaa takaisinkytkentää ja päivittää painot ja bias-arvot jokaisessa kerroksessa häviön pienentämiseksi.

Tätä prosessia toistetaan useiden epookkien ajan, jolloin verkko voi vähitellen hioa parametrejaan. Koulutuksen edetessä verkko oppii tekemään yhä tarkempia ennusteita. Hyperparametrien, kuten oppimisnopeuden, huolellinen säätäminen on kuitenkin ratkaisevan tärkeää vakaan ja tehokkaan koulutuksen varmistamiseksi.

Oppimisnopeus ($\alpha$) määrittää askelkoon painojen päivityksissä. Jos arvo on liian suuri, malli voi ohittaa optimaaliset arvot eikä konvergoidu. Jos arvo on liian pieni, koulutus hidastuu ja voi jumittua epäoptimaaliseen ratkaisuun. Sopivan oppimisnopeuden valinta tasapainottaa nopeuden ja vakautta koulutuksessa. Tyypilliset arvot vaihtelevat välillä 0.001–0.1 ongelmasta ja verkon koosta riippuen.

Alla oleva kuvaaja osoittaa, kuinka sopiva oppimisnopeus mahdollistaa tappion tasaisen pienenemisen optimaalisella tahdilla:

Lopuksi, stokastinen gradienttimenetelmä (SGD) on keskeisessä roolissa koulutuksen tehokkuudessa. Sen sijaan, että painopäivitykset laskettaisiin koko aineiston jälkeen, SGD päivittää parametrit jokaisen yksittäisen esimerkin jälkeen. Tämä tekee koulutuksesta nopeampaa ja tuo pieniä vaihteluita päivityksiin, mikä voi auttaa mallia välttämään paikallisia minimejä ja saavuttamaan paremman kokonaisratkaisun.

fit()-metodi

fit()-luokan Perceptron-metodi vastaa mallin kouluttamisesta käyttäen stokastista gradienttimenetelmää.

def fit(self, training_data, labels, epochs, learning_rate):
    # Iterating over multiple epochs
    for epoch in range(epochs):
        # Shuffling the data  
        indices = np.random.permutation(training_data.shape[0])
        training_data = training_data[indices]
        labels = labels[indices]
        # Iterating through each training example
        for i in range(training_data.shape[0]):
            inputs = training_data[i, :].reshape(-1, 1)
            target = labels[i, :].reshape(-1, 1)

            # Forward propagation
            output = ...

            # Computing the gradient of the loss function w.r.t. output
            da = ...

            # Backward propagation through all layers
            for layer in self.layers[::-1]:
                da = ...