Lære Utfordring: Trening av Perseptronen

Seksjon 1. Kapittel 17

single

Sveip for å vise menyen

Før du går videre med å trene perseptronen, husk at den benytter binær kryssentropi-tapfunksjonen som tidligere diskutert. Det siste sentrale konseptet før implementering av tilbakepropagasjon er formelen for den deriverte av denne tapfunksjonen med hensyn til utgangsaktiveringene, $a^n$ . Nedenfor vises formlene for tapfunksjonen og dens deriverte:

\begin{aligned} L &= -(y \log(\hat{y}) + (1-y) \log(1 - \hat{y}))\\ da^n &= \frac {\hat{y} - y} {\hat{y}(1 - \hat{y})} \end{aligned}

hvor $a^n = \hat{y}$

For å kontrollere at perseptronen trenes korrekt, skriver fit()-metoden også ut gjennomsnittlig tap for hver epoke. Dette beregnes ved å ta gjennomsnittet av tapet over alle treningsdataene i den aktuelle epoken:

for epoch in range(epochs):
    loss = 0

    for i in range(training_data.shape[0]):
        loss += -(target * np.log(output) + (1 - target) * np.log(1 - output))

average_loss = loss[0, 0] / training_data.shape[0]
print(f'Loss at epoch {epoch + 1}: {average_loss:.3f}')

L = -\frac1N \sum_{i=1}^N (y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i))

Til slutt er formlene for å beregne gradientene som følger:

\begin{aligned} dz^l &= da^l \odot f'^l(z^l)\\ dW^l &= dz^l \cdot (a^{l-1})^T\\ db^l &= dz^l\\ da^{l-1} &= (W^l)^T \cdot dz^l \end{aligned}

Eksempel treningsdata (X_train) sammen med tilhørende etiketter (y_train) er lagret som NumPy-arrays i filen utils.py. I tillegg er instanser av aktiveringsfunksjonene også definert der:

relu = ReLU()
sigmoid = Sigmoid()

Oppgave

Swipe to start coding

Målet ditt er å fullføre treningsprosessen for et flerlags perceptron ved å implementere tilbakepropagering og oppdatere modellparametrene.

Følg disse trinnene nøye:

Implementer backward()-metoden i Layer-klassen:

Beregn følgende gradienter:
- dz: den deriverte av tapet med hensyn til pre-aktiveringsverdiene, ved å bruke den deriverte av aktiveringsfunksjonen;
- d_weights: gradienten av tapet med hensyn til vektene, beregnet som prikkproduktet av dz og den transponerte input-vektoren;
d_biases: gradienten av tapet med hensyn til biasene, lik dz;
da_prev: gradienten av tapet med hensyn til aktiveringene i forrige lag, oppnådd ved å multiplisere den transponerte vektmatrisen med dz.
Oppdater vektene og biasene ved hjelp av læringsraten.

Fullfør fit()-metoden i Perceptron-klassen:
- Beregn modellens output ved å kalle forward()-metoden;
- Kalkuler tapet ved hjelp av kryssentropi-formelen;

Beregn $da^n$ $d a^{n}$ — den deriverte av tapet med hensyn til utgangsaktiveringene;
- Gå bakover gjennom lagene og utfør tilbakepropagering ved å kalle hver lag sin backward()-metode.

Sjekk treningsatferden:

Hvis alt er implementert riktig, skal tapet jevnt synke for hver epoke når du bruker en læringsrate på 0.01.

Løsning

Bytt til skrivebordet for virkelighetspraksisFortsett der du er med et av alternativene nedenfor

Alt var klart?

Takk for tilbakemeldingene dine!

Seksjon 1. Kapittel 17

single

Spør AI

Spør om hva du vil, eller prøv ett av de foreslåtte spørsmålene for å starte chatten vår