Couche unique de réseau de neurones

Dans un réseau de neurones à propagation avant de base, la sortie d’un neurone dans une couche est calculée à l’aide de la somme pondérée de ses entrées, passée à travers une fonction d’activation. Cela peut être représenté par :

$y=\sigma(W \cdot x + b)$

Où :

$y$ : sortie du neurone ;
$W$ : matrice représentant les poids associés aux connexions vers le neurone ;
$x$ : matrice colonne (ou vecteur) représentant les valeurs d’entrée du neurone ;
$b$ : valeur scalaire ;
$\sigma$ : fonction d’activation, telle que la fonction sigmoïde, ReLU ou softmax.

Pour obtenir les meilleures performances, tous les calculs sont effectués à l’aide de matrices. Nous aborderons cette tâche de la même manière.

Tâche

Swipe to start coding

Étant donné les poids, les entrées et le biais pour une couche composée d'un seul neurone, calculez sa sortie en utilisant la multiplication matricielle et la fonction d'activation sigmoïde. Considérez une couche avec 3 entrées et 2 neurones, prenant un seul lot contenant un seul échantillon.

Détermination des dimensions :
- La forme de la matrice d'entrée I doit avoir pour première dimension le nombre d'échantillons dans le lot. Avec un échantillon ayant 3 entrées, sa taille sera 1x3 ;
- La matrice de poids W doit avoir ses colonnes représentant les poids d'entrée pour chaque neurone. Ainsi, pour 2 neurones avec 3 entrées, la forme attendue est 3x2. Ce n'est pas le cas, il faut donc transposer la matrice de poids pour obtenir la forme requise.
Multiplication matricielle :
- Avec les matrices dans la bonne forme, effectuez la multiplication matricielle ;
- Rappelez-vous que lors d'une multiplication matricielle, la sortie est obtenue à partir du produit scalaire de chaque ligne de la première matrice avec chaque colonne de la seconde matrice. Assurez-vous de multiplier dans le bon ordre.
Ajout du biais :
- Effectuez simplement une addition élément par élément du résultat de la multiplication matricielle avec le biais.
Application de l'activation :
- Utilisez la fonction d'activation sigmoïde sur le résultat de l'ajout du biais pour obtenir la sortie du neurone ;
- TensorFlow fournit la fonction sigmoïde sous la forme tf.sigmoid().

Remarque

À la fin du cours, nous aborderons la mise en œuvre d'un réseau feed-forward complet avec TensorFlow. Cet exercice pose les bases pour cela.

Solution

Tout était clair ?

Merci pour vos commentaires !

Section 3. Chapitre 1

single

Demandez à l'IA

Posez n'importe quelle question ou essayez l'une des questions suggérées pour commencer notre discussion

Suggested prompts:

Can you explain why we need to transpose the weight matrix?

What is the purpose of the bias in this calculation?

How does the sigmoid activation function affect the output?

Awesome!

Completion rate improved to 6.25

Glissez pour afficher le menu

Couche unique de réseau de neurones

$y=\sigma(W \cdot x + b)$

Où :

$y$ : sortie du neurone ;
$W$ : matrice représentant les poids associés aux connexions vers le neurone ;
$x$ : matrice colonne (ou vecteur) représentant les valeurs d’entrée du neurone ;
$b$ : valeur scalaire ;
$\sigma$ : fonction d’activation, telle que la fonction sigmoïde, ReLU ou softmax.

Pour obtenir les meilleures performances, tous les calculs sont effectués à l’aide de matrices. Nous aborderons cette tâche de la même manière.

Tâche

Swipe to start coding

Détermination des dimensions :
- La forme de la matrice d'entrée I doit avoir pour première dimension le nombre d'échantillons dans le lot. Avec un échantillon ayant 3 entrées, sa taille sera 1x3 ;
- La matrice de poids W doit avoir ses colonnes représentant les poids d'entrée pour chaque neurone. Ainsi, pour 2 neurones avec 3 entrées, la forme attendue est 3x2. Ce n'est pas le cas, il faut donc transposer la matrice de poids pour obtenir la forme requise.
Multiplication matricielle :
- Avec les matrices dans la bonne forme, effectuez la multiplication matricielle ;
- Rappelez-vous que lors d'une multiplication matricielle, la sortie est obtenue à partir du produit scalaire de chaque ligne de la première matrice avec chaque colonne de la seconde matrice. Assurez-vous de multiplier dans le bon ordre.
Ajout du biais :
- Effectuez simplement une addition élément par élément du résultat de la multiplication matricielle avec le biais.
Application de l'activation :
- Utilisez la fonction d'activation sigmoïde sur le résultat de l'ajout du biais pour obtenir la sortie du neurone ;
- TensorFlow fournit la fonction sigmoïde sous la forme tf.sigmoid().

Remarque

À la fin du cours, nous aborderons la mise en œuvre d'un réseau feed-forward complet avec TensorFlow. Cet exercice pose les bases pour cela.

Solution

Passez à un bureau pour une pratique réelleContinuez d'où vous êtes en utilisant l'une des options ci-dessous

Tout était clair ?

Merci pour vos commentaires !

Section 3. Chapitre 1

single

Création d'une Couche de Réseau de Neurones

Couche unique de réseau de neurones

Solution

Awesome!

Création d'une Couche de Réseau de Neurones

Couche unique de réseau de neurones

Solution