Lære Utfordring: Trening av Perseptronen | Nevralt Nettverk fra Bunnen Av

Før du går videre med å trene perseptronen, husk at den bruker binær kryssentropi-tapfunksjonen som tidligere er diskutert. Det siste viktige konseptet før implementering av tilbakepropagering er formelen for den deriverte av denne tapfunksjonen med hensyn til utgangsaktiveringene, $a^n$ . Nedenfor er formlene for tapfunksjonen og dens deriverte:

\begin{aligned} L &= -(y \log(\hat{y}) + (1-y) \log(1 - \hat{y}))\\ da^n &= \frac {\hat{y} - y} {\hat{y}(1 - \hat{y})} \end{aligned}

hvor $a^n = \hat{y}$

For å verifisere at perseptronen trenes korrekt, skriver fit()-metoden også ut gjennomsnittlig tap ved hver epoke. Dette beregnes ved å ta gjennomsnittet av tapet over alle treningsdata i den aktuelle epoken:

for epoch in range(epochs):
    loss = 0

    for i in range(training_data.shape[0]):
        loss += -(target * np.log(output) + (1 - target) * np.log(1 - output))

average_loss = loss[0, 0] / training_data.shape[0]
print(f'Loss at epoch {epoch + 1}: {average_loss:.3f}')

L = -\frac1N \sum_{i=1}^N (y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i))

Til slutt er formlene for å beregne gradientene som følger:

\begin{aligned} dz^l &= da^l \odot f'^l(z^l)\\ dW^l &= dz^l \cdot (a^{l-1})^T\\ db^l &= dz^l\\ da^{l-1} &= (W^l)^T \cdot dz^l \end{aligned}

Eksempeldataene for trening (X_train) sammen med de tilhørende etikettene (y_train) er lagret som NumPy-arrays i filen utils.py. I tillegg er instanser av aktiveringsfunksjonene også definert der:

relu = ReLU()
sigmoid = Sigmoid()

Oppgave

Swipe to start coding

Målet ditt er å fullføre treningsprosessen for en flerlags perceptron ved å implementere backpropagation og oppdatere modellparametrene.

Følg disse trinnene nøye:

Implementer backward()-metoden i Layer-klassen:

Beregn følgende gradienter:
- dz: derivert av tapet med hensyn til pre-aktiveringsverdiene, ved å bruke den deriverte av aktiveringsfunksjonen;
- d_weights: gradient av tapet med hensyn til vektene, beregnet som prikkproduktet av dz og den transponerte input-vektoren;
d_biases: gradient av tapet med hensyn til biasene, lik dz;
da_prev: gradient av tapet med hensyn til aktiveringene i forrige lag, oppnådd ved å multiplisere den transponerte vektmatrisen med dz.
Oppdater vektene og biasene ved å bruke læringsraten.

Fullfør fit()-metoden i Perceptron-klassen:
- Beregn modellens output ved å kalle forward()-metoden;
- Kalkuler tapet ved hjelp av kryssentropi-formelen;

Beregn $da^n$ $d a^{n}$ — den deriverte av tapet med hensyn til utgangsaktiveringene;
- Gå bakover gjennom lagene og utfør backpropagation ved å kalle hver lag sin backward()-metode.

Sjekk treningsatferden:

Hvis alt er implementert korrekt, skal tapet jevnt avta for hver epoke når du bruker en læringsrate på 0.01.

Løsning

Alt var klart?

Takk for tilbakemeldingene dine!

Seksjon 2. Kapittel 10

single

Spør AI

Spør om hva du vil, eller prøv ett av de foreslåtte spørsmålene for å starte chatten vår

Awesome!

Completion rate improved to 4

Sveip for å vise menyen

\begin{aligned} L &= -(y \log(\hat{y}) + (1-y) \log(1 - \hat{y}))\\ da^n &= \frac {\hat{y} - y} {\hat{y}(1 - \hat{y})} \end{aligned}