Gradients dans PyTorch
Les gradients sont fondamentaux dans les tâches d'optimisation comme l'entraînement des réseaux neuronaux, où ils aident à ajuster les poids et les biais pour minimiser l'erreur. Dans PyTorch, ils sont calculés automatiquement à l'aide du module autograd, qui suit les opérations sur les tenseurs et calcule les dérivées efficacement.
Activation du suivi des gradients
Pour activer le suivi des gradients pour un tenseur, l'argument requires_grad=True est utilisé lors de la création du tenseur. Cela indique à PyTorch de suivre toutes les opérations sur le tenseur pour le calcul des gradients.
1234import torch # Create a tensor with gradient tracking enabled tensor = torch.tensor(2.0, requires_grad=True) print(tensor)
Construction d'un Graphe de Calcul
PyTorch construit un graphe de calcul dynamique lorsque vous effectuez des opérations sur des tenseurs avec requires_grad=True. Ce graphe stocke les relations entre les tenseurs et les opérations, permettant la différenciation automatique.
Nous allons commencer par définir une fonction polynomiale assez simple :
y = 5x
Notre objectif est de calculer la dérivée par rapport à x à x = 2.
123456import torch # Define the tensor x = torch.tensor(2.0, requires_grad=True) # Define the function y = 5 * x ** 3 + 2 * x ** 2 + 4 * x + 8 print(f"Function output: {y}")
La visualisation de ce graphe computationnel créé à l'aide de la bibliothèque PyTorchViz peut sembler quelque peu complexe, mais elle transmet efficacement l'idée clé qui le sous-tend :
Calcul des Gradients
Pour calculer le gradient, la méthode backward() doit être appelée sur le tenseur de sortie. Cela calcule la dérivée de la fonction par rapport au tenseur d'entrée.
Le gradient calculé lui-même peut ensuite être accédé avec l'attribut .grad.
12345678import torch x = torch.tensor(2.0, requires_grad=True) y = 5 * x ** 3 + 2 * x ** 2 + 4 * x + 8 # Perform backpropagation y.backward() # Print the gradient of x grad = x.grad print(f"Gradient of x: {grad}")
Le gradient calculé est la dérivée de y par rapport à x, évaluée à x = 2.
Merci pour vos commentaires !
Demandez à l'IA
Demandez à l'IA
Posez n'importe quelle question ou essayez l'une des questions suggérées pour commencer notre discussion
Awesome!
Completion rate improved to 5Gradients dans PyTorch
Glissez pour afficher le menu
Les gradients sont fondamentaux dans les tâches d'optimisation comme l'entraînement des réseaux neuronaux, où ils aident à ajuster les poids et les biais pour minimiser l'erreur. Dans PyTorch, ils sont calculés automatiquement à l'aide du module autograd, qui suit les opérations sur les tenseurs et calcule les dérivées efficacement.
Activation du suivi des gradients
Pour activer le suivi des gradients pour un tenseur, l'argument requires_grad=True est utilisé lors de la création du tenseur. Cela indique à PyTorch de suivre toutes les opérations sur le tenseur pour le calcul des gradients.
1234import torch # Create a tensor with gradient tracking enabled tensor = torch.tensor(2.0, requires_grad=True) print(tensor)
Construction d'un Graphe de Calcul
PyTorch construit un graphe de calcul dynamique lorsque vous effectuez des opérations sur des tenseurs avec requires_grad=True. Ce graphe stocke les relations entre les tenseurs et les opérations, permettant la différenciation automatique.
Nous allons commencer par définir une fonction polynomiale assez simple :
y = 5x
Notre objectif est de calculer la dérivée par rapport à x à x = 2.
123456import torch # Define the tensor x = torch.tensor(2.0, requires_grad=True) # Define the function y = 5 * x ** 3 + 2 * x ** 2 + 4 * x + 8 print(f"Function output: {y}")
La visualisation de ce graphe computationnel créé à l'aide de la bibliothèque PyTorchViz peut sembler quelque peu complexe, mais elle transmet efficacement l'idée clé qui le sous-tend :
Calcul des Gradients
Pour calculer le gradient, la méthode backward() doit être appelée sur le tenseur de sortie. Cela calcule la dérivée de la fonction par rapport au tenseur d'entrée.
Le gradient calculé lui-même peut ensuite être accédé avec l'attribut .grad.
12345678import torch x = torch.tensor(2.0, requires_grad=True) y = 5 * x ** 3 + 2 * x ** 2 + 4 * x + 8 # Perform backpropagation y.backward() # Print the gradient of x grad = x.grad print(f"Gradient of x: {grad}")
Le gradient calculé est la dérivée de y par rapport à x, évaluée à x = 2.
Merci pour vos commentaires !
