Gradiënten in PyTorch
Ter herinnering: gradiënten zijn partiële afgeleiden van een functie ten opzichte van de invoerwaarden.
Gradiënten zijn essentieel bij optimalisatietaken zoals het trainen van neurale netwerken, waarbij ze helpen om gewichten en biases aan te passen om de fout te minimaliseren. In PyTorch worden ze automatisch berekend met behulp van de autograd-module, die bewerkingen op tensors volgt en efficiënt afgeleiden berekent.
Gradiënttracking inschakelen
Om gradiënttracking voor een tensor in te schakelen, wordt het argument requires_grad=True gebruikt bij het aanmaken van de tensor. Dit geeft aan PyTorch door om alle bewerkingen op de tensor te volgen voor gradiëntberekeningen.
1234import torch # Create a tensor with gradient tracking enabled tensor = torch.tensor(2.0, requires_grad=True) print(tensor)
Opbouwen van een computationeel netwerk
PyTorch bouwt een dynamisch computationeel netwerk terwijl je bewerkingen uitvoert op tensors met requires_grad=True. Dit netwerk slaat de relaties op tussen tensors en bewerkingen, waardoor automatische differentiatie mogelijk is.
We beginnen met het definiëren van een eenvoudige polynoomfunctie:
y = 5x
Het doel is om de afgeleide te berekenen ten opzichte van x bij x = 2.
123456import torch # Define the tensor x = torch.tensor(2.0, requires_grad=True) # Define the function y = 5 * x ** 3 + 2 * x ** 2 + 4 * x + 8 print(f"Function output: {y}")
De visualisatie van deze computationele graaf gemaakt met behulp van de PyTorchViz-bibliotheek kan enigszins complex lijken, maar brengt effectief het belangrijkste idee over:
Gradienten berekenen
Om de gradiënt te berekenen, moet de methode backward() worden aangeroepen op de output-tensor. Hiermee wordt de afgeleide van de functie ten opzichte van de input-tensor berekend.
De berekende gradiënt kan vervolgens worden geraadpleegd met het .grad-attribuut.
12345678import torch x = torch.tensor(2.0, requires_grad=True) y = 5 * x ** 3 + 2 * x ** 2 + 4 * x + 8 # Perform backpropagation y.backward() # Print the gradient of x grad = x.grad print(f"Gradient of x: {grad}")
De berekende gradiënt is de afgeleide van y ten opzichte van x, geëvalueerd bij x = 2.
Bedankt voor je feedback!
Vraag AI
Vraag AI
Vraag wat u wilt of probeer een van de voorgestelde vragen om onze chat te starten.
Geweldig!
Completion tarief verbeterd naar 5Gradiënten in PyTorch
Veeg om het menu te tonen
Ter herinnering: gradiënten zijn partiële afgeleiden van een functie ten opzichte van de invoerwaarden.
Gradiënten zijn essentieel bij optimalisatietaken zoals het trainen van neurale netwerken, waarbij ze helpen om gewichten en biases aan te passen om de fout te minimaliseren. In PyTorch worden ze automatisch berekend met behulp van de autograd-module, die bewerkingen op tensors volgt en efficiënt afgeleiden berekent.
Gradiënttracking inschakelen
Om gradiënttracking voor een tensor in te schakelen, wordt het argument requires_grad=True gebruikt bij het aanmaken van de tensor. Dit geeft aan PyTorch door om alle bewerkingen op de tensor te volgen voor gradiëntberekeningen.
1234import torch # Create a tensor with gradient tracking enabled tensor = torch.tensor(2.0, requires_grad=True) print(tensor)
Opbouwen van een computationeel netwerk
PyTorch bouwt een dynamisch computationeel netwerk terwijl je bewerkingen uitvoert op tensors met requires_grad=True. Dit netwerk slaat de relaties op tussen tensors en bewerkingen, waardoor automatische differentiatie mogelijk is.
We beginnen met het definiëren van een eenvoudige polynoomfunctie:
y = 5x
Het doel is om de afgeleide te berekenen ten opzichte van x bij x = 2.
123456import torch # Define the tensor x = torch.tensor(2.0, requires_grad=True) # Define the function y = 5 * x ** 3 + 2 * x ** 2 + 4 * x + 8 print(f"Function output: {y}")
De visualisatie van deze computationele graaf gemaakt met behulp van de PyTorchViz-bibliotheek kan enigszins complex lijken, maar brengt effectief het belangrijkste idee over:
Gradienten berekenen
Om de gradiënt te berekenen, moet de methode backward() worden aangeroepen op de output-tensor. Hiermee wordt de afgeleide van de functie ten opzichte van de input-tensor berekend.
De berekende gradiënt kan vervolgens worden geraadpleegd met het .grad-attribuut.
12345678import torch x = torch.tensor(2.0, requires_grad=True) y = 5 * x ** 3 + 2 * x ** 2 + 4 * x + 8 # Perform backpropagation y.backward() # Print the gradient of x grad = x.grad print(f"Gradient of x: {grad}")
De berekende gradiënt is de afgeleide van y ten opzichte van x, geëvalueerd bij x = 2.
Bedankt voor je feedback!
