Oppiskele Haaste: Perceptronin Kouluttaminen | Neuroverkon Rakentaminen Alusta Alkaen

Ennen kuin jatkat perceptronin kouluttamista, muista että se käyttää aiemmin käsiteltyä binääristä ristientropiahäviöfunktiota. Viimeinen keskeinen käsite ennen takaisinkytkennän (backpropagation) toteuttamista on tämän häviöfunktion derivaatan kaava ulostuloaktivaation suhteen, $a^n$ . Alla ovat häviöfunktion ja sen derivaatan kaavat:

\begin{aligned} L &= -(y \log(\hat{y}) + (1-y) \log(1 - \hat{y}))\\ da^n &= \frac {\hat{y} - y} {\hat{y}(1 - \hat{y})} \end{aligned}

missä $a^n = \hat{y}$

Perceptronin koulutuksen oikeellisuuden varmistamiseksi fit()-metodi tulostaa myös keskimääräisen häviön jokaisella epookilla. Tämä lasketaan ottamalla häviön keskiarvo kaikista kyseisen epookin harjoitusesimerkeistä:

for epoch in range(epochs):
    loss = 0

    for i in range(training_data.shape[0]):
        loss += -(target * np.log(output) + (1 - target) * np.log(1 - output))

average_loss = loss[0, 0] / training_data.shape[0]
print(f'Loss at epoch {epoch + 1}: {average_loss:.3f}')

L = -\frac1N \sum_{i=1}^N (y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i))

Lopuksi gradienttien laskentakaavat ovat seuraavat:

\begin{aligned} dz^l &= da^l \odot f'^l(z^l)\\ dW^l &= dz^l \cdot (a^{l-1})^T\\ db^l &= dz^l\\ da^{l-1} &= (W^l)^T \cdot dz^l \end{aligned}

Esimerkkikoulutusdata (X_train) sekä vastaavat luokat (y_train) on tallennettu NumPy-taulukoina tiedostoon utils.py. Lisäksi aktivointifunktioiden instanssit on määritelty siellä:

relu = ReLU()
sigmoid = Sigmoid()

Tehtävä

Swipe to start coding

Laske seuraavat gradientit: dz, d_weights, d_biases ja da_prev backward()-luokan Layer-metodissa.
Laske mallin output fit()-luokan Perceptron-metodissa.
Laske da ( $da^n$ ) ennen silmukkaa; tämä on tappion gradientti suhteessa ulostuloaktivaatioihin.
Laske da ja suorita takaisinkytkentä silmukassa kutsumalla sopivaa metodia jokaiselle kerrokselle.

Jos koulutus on toteutettu oikein ja oppimisnopeus on 0.01, tappion tulisi vähentyä tasaisesti jokaisella epookilla.

Ratkaisu

Oliko kaikki selvää?

Kiitos palautteestasi!

Osio 2. Luku 10

single

Kysy tekoälyä

Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme

Suggested prompts:

Can you explain how the derivative of the binary cross-entropy loss is used in backpropagation?

What is the purpose of printing the average loss at each epoch?

Can you clarify how the gradients are computed using the provided formulas?

Awesome!

Completion rate improved to 4

Pyyhkäise näyttääksesi valikon

\begin{aligned} L &= -(y \log(\hat{y}) + (1-y) \log(1 - \hat{y}))\\ da^n &= \frac {\hat{y} - y} {\hat{y}(1 - \hat{y})} \end{aligned}