Mallin Koulutus

Neuroverkon koulutus on iteraatiivinen prosessi, jossa malli parantaa suoritustaan vähitellen säätämällä painoja ja bias-arvoja minimoidakseen häviöfunktion. Tätä prosessia kutsutaan gradienttipohjaiseksi optimoinniksi, ja se noudattaa jäsenneltyä algoritmia.

Yleinen algoritmi

Aineisto syötetään verkkoon useita kertoja silmukassa, jossa jokainen täydellinen läpikäynti kutsutaan epookiksi. Jokaisen epookin aikana data sekoitetaan estämään mallia oppimasta esimerkkien järjestykseen perustuvia kaavoja. Sekoittaminen lisää satunnaisuutta, mikä johtaa kestävämpään malliin.

Jokaiselle harjoitusesimerkille malli suorittaa eteenpäinlevityksen, jossa syötteet kulkevat verkon läpi kerros kerrokselta ja tuottavat ulostulon. Tämä ulostulo verrataan todelliseen tavoitearvoon häviön laskemiseksi.

Seuraavaksi malli soveltaa takaisinkytkentää ja päivittää painot ja bias-arvot jokaisessa kerroksessa häviön pienentämiseksi.

Tämä prosessi toistetaan useiden epookkien ajan, jolloin verkko voi vähitellen hioa parametrejaan. Koulutuksen edetessä verkko oppii tekemään yhä tarkempia ennusteita. Hyperparametrien, kuten oppimisnopeuden, huolellinen säätäminen on kuitenkin olennaista vakaan ja tehokkaan koulutuksen varmistamiseksi.

Oppimisnopeus ($\alpha$) määrittää askelkoon painojen päivityksissä. Jos arvo on liian suuri, malli voi ohittaa optimaaliset arvot eikä saavuta konvergenssia. Jos arvo on liian pieni, koulutus hidastuu ja voi jumittua epäoptimaaliseen ratkaisuun. Sopivan oppimisnopeuden valinta tasapainottaa nopeuden ja vakautta koulutuksessa. Tyypilliset arvot vaihtelevat 0.001–0.1 välillä riippuen ongelmasta ja verkon koosta.

Alla oleva kuvaaja havainnollistaa, kuinka sopiva oppimisnopeus mahdollistaa tappion tasaisen pienenemisen optimaalisella tahdilla:

Lopuksi stokastinen gradienttimenetelmä (SGD) on keskeisessä roolissa koulutuksen tehokkuudessa. Sen sijaan, että painopäivitykset laskettaisiin koko aineiston jälkeen, SGD päivittää parametrit jokaisen yksittäisen esimerkin jälkeen. Tämä tekee koulutuksesta nopeampaa ja tuo päivityksiin pieniä vaihteluita, mikä voi auttaa mallia välttämään paikalliset minimit ja saavuttamaan paremman kokonaisratkaisun.

fit()-metodi

fit()-luokan Perceptron-metodi vastaa mallin kouluttamisesta käyttäen stokastista gradienttimenetelmää.

def fit(self, training_data, labels, epochs, learning_rate):
    # Iterating over multiple epochs
    for epoch in range(epochs):
        # Shuffling the data  
        indices = np.random.permutation(training_data.shape[0])
        training_data = training_data[indices]
        labels = labels[indices]
        # Iterating through each training example
        for i in range(training_data.shape[0]):
            inputs = training_data[i, :].reshape(-1, 1)
            target = labels[i, :].reshape(-1, 1)

            # Forward propagation
            output = ...

            # Computing the gradient of the loss function w.r.t. output
            da = ...

            # Backward propagation through all layers
            for layer in self.layers[::-1]:
                da = ...