Enkelt neuralt netværkslag

I et grundlæggende feed-forward neuralt netværk beregnes outputtet fra en neuron i et lag ved hjælp af den vægtede sum af dens input, som føres gennem en aktiveringsfunktion. Dette kan repræsenteres som:

$y=\sigma(W \cdot x + b)$

Hvor:

$y$ : output fra neuronen;
$W$ : en matrix, der repræsenterer vægtene forbundet til neuronen;
$x$ : en kolonnematrix (eller vektor), der repræsenterer inputværdierne til neuronen;
$b$ : en skalær værdi;
$\sigma$ : en aktiveringsfunktion, såsom sigmoid, ReLU eller softmax.

For at opnå den bedste ydeevne udføres alle beregninger ved hjælp af matricer. Vi vil løse denne opgave på samme måde.

Opgave

Swipe to start coding

Givet vægte, input og bias for et enkelt neuronlag, beregn dets output ved hjælp af matrixmultiplikation og sigmoid aktiveringsfunktion. Overvej et lag med 3 input og 2 neuroner, hvor der behandles et enkelt batch med kun én prøve.

Bestemmelse af dimensioner:
- Inputmatricen I skal have sin første dimension som repræsentant for antallet af prøver i batchen. Da der er én prøve med 3 input, vil størrelsen være 1x3;
- Vægtmatricen W skal have sine kolonner som inputvægte for hver neuron. For 2 neuroner med 3 input forventes formen at være 3x2. Dette er ikke tilfældet, så du skal transponere vægtmatricen for at opnå den krævede form.
Matrixmultiplikation:
- Når matricerne har den korrekte form, udfør matrixmultiplikationen;
- Husk, at ved matrixmultiplikation udledes output fra prikproduktet af hver række i den første matrix med hver kolonne i den anden matrix. Sørg for at multiplicere i den rigtige rækkefølge.
Bias-tilføjelse:
- Udfør blot en elementvis addition af resultatet fra matrixmultiplikationen med bias.
Anvendelse af aktivering:
- Brug sigmoid aktiveringsfunktion på resultatet fra bias-tilføjelsen for at få neuronens output;
- TensorFlow tilbyder sigmoidfunktionen som tf.sigmoid().

Bemærk

I slutningen af kurset vil vi dykke ned i implementeringen af et komplet feed-forward netværk med TensorFlow. Denne øvelse danner grundlaget for dette.

Løsning

Var alt klart?

Tak for dine kommentarer!

Sektion 1. Kapitel 10

single

Spørg AI

Spørg om hvad som helst eller prøv et af de foreslåede spørgsmål for at starte vores chat

Suggested prompts:

Can you explain why we need to transpose the weight matrix?

What is the purpose of the bias in this calculation?

How does the sigmoid activation function affect the output?

Awesome!

Completion rate improved to 5.56

Stryg for at vise menuen

Enkelt neuralt netværkslag

$y=\sigma(W \cdot x + b)$

Hvor:

$y$ : output fra neuronen;
$W$ : en matrix, der repræsenterer vægtene forbundet til neuronen;
$x$ : en kolonnematrix (eller vektor), der repræsenterer inputværdierne til neuronen;
$b$ : en skalær værdi;
$\sigma$ : en aktiveringsfunktion, såsom sigmoid, ReLU eller softmax.

For at opnå den bedste ydeevne udføres alle beregninger ved hjælp af matricer. Vi vil løse denne opgave på samme måde.

Opgave

Swipe to start coding

Bestemmelse af dimensioner:
- Inputmatricen I skal have sin første dimension som repræsentant for antallet af prøver i batchen. Da der er én prøve med 3 input, vil størrelsen være 1x3;
- Vægtmatricen W skal have sine kolonner som inputvægte for hver neuron. For 2 neuroner med 3 input forventes formen at være 3x2. Dette er ikke tilfældet, så du skal transponere vægtmatricen for at opnå den krævede form.
Matrixmultiplikation:
- Når matricerne har den korrekte form, udfør matrixmultiplikationen;
- Husk, at ved matrixmultiplikation udledes output fra prikproduktet af hver række i den første matrix med hver kolonne i den anden matrix. Sørg for at multiplicere i den rigtige rækkefølge.
Bias-tilføjelse:
- Udfør blot en elementvis addition af resultatet fra matrixmultiplikationen med bias.
Anvendelse af aktivering:
- Brug sigmoid aktiveringsfunktion på resultatet fra bias-tilføjelsen for at få neuronens output;
- TensorFlow tilbyder sigmoidfunktionen som tf.sigmoid().

Bemærk

I slutningen af kurset vil vi dykke ned i implementeringen af et komplet feed-forward netværk med TensorFlow. Denne øvelse danner grundlaget for dette.

Løsning

Skift til skrivebord for at øve i den virkelige verdenFortsæt der, hvor du er, med en af nedenstående muligheder

Var alt klart?

Tak for dine kommentarer!

Sektion 1. Kapitel 10

single

Udfordring: Oprettelse af et Neuralt Netværkslag

Enkelt neuralt netværkslag

Løsning

Awesome!

Udfordring: Oprettelse af et Neuralt Netværkslag

Enkelt neuralt netværkslag

Løsning