Træning af et neuralt netværk indebærer en iterativ proces, hvor modellen gradvist forbedres ved at justere sine vægte og bias for at minimere tabfunktionen. Denne proces kaldes gradientbaseret optimering og følger en struktureret algoritme.

Generel algoritme

Datasættet føres først gennem netværket flere gange i et loop, hvor hver fuld gennemgang kaldes en epoke. Under hver epoke blandes dataene for at forhindre, at modellen lærer mønstre baseret på rækkefølgen af træningseksemplerne. Blanding hjælper med at introducere tilfældighed, hvilket fører til en mere robust model.

For hvert træningseksempel udfører modellen fremadpropagering, hvor input føres gennem netværket, lag for lag, og producerer et output. Dette output sammenlignes derefter med den faktiske målværdi for at beregne tabet.

Herefter anvender modellen backpropagation og opdaterer vægte og bias i hvert lag for at reducere tabet.

Denne proces gentages over flere epoker, hvilket gør det muligt for netværket gradvist at forfine sine parametre. Efterhånden som træningen skrider frem, lærer netværket at lave mere præcise forudsigelser. Omhyggelig justering af hyperparametre såsom læringsraten er dog afgørende for at sikre stabil og effektiv træning.

Læringsraten ($\alpha$) bestemmer skridtlængden ved opdatering af vægte. Hvis den er for høj, kan modellen overskyde de optimale værdier og undlade at konvergere. Hvis den er for lav, bliver træningen langsom og kan sidde fast i en suboptimal løsning. Valg af en passende læringsrate balancerer hastighed og stabilitet under træningen. Typiske værdier ligger mellem 0.001 og 0.1, afhængigt af problemstillingen og netværkets størrelse.

Grafen nedenfor viser, hvordan en passende læringsrate gør det muligt for tabet at falde jævnt i et optimalt tempo:

Endelig spiller stokastisk gradientnedstigning (SGD) en afgørende rolle for træningseffektiviteten. I stedet for at beregne vægtopdateringer efter hele datasættet er behandlet, opdaterer SGD parametrene efter hvert enkelt eksempel. Dette gør træningen hurtigere og introducerer små variationer i opdateringerne, hvilket kan hjælpe modellen med at undslippe lokale minima og opnå en bedre samlet løsning.

Metoden fit()

Metoden fit() i klassen Perceptron er ansvarlig for at træne modellen ved hjælp af stokastisk gradientnedstigning.

def fit(self, training_data, labels, epochs, learning_rate):
    # Iterating over multiple epochs
    for epoch in range(epochs):
        # Shuffling the data  
        indices = np.random.permutation(training_data.shape[0])
        training_data = training_data[indices]
        labels = labels[indices]
        # Iterating through each training example
        for i in range(training_data.shape[0]):
            inputs = training_data[i, :].reshape(-1, 1)
            target = labels[i, :].reshape(-1, 1)

            # Forward propagation
            output = ...

            # Computing the gradient of the loss function w.r.t. output
            da = ...

            # Backward propagation through all layers
            for layer in self.layers[::-1]:
                da = ...