Pyyhkäise näyttääksesi valikon

Gradientit ovat keskeisiä optimointitehtävissä, kuten neuroverkkojen koulutuksessa, joissa niiden avulla säädetään painoja ja bias-termejä virheen minimoimiseksi. PyTorchissa gradientit lasketaan automaattisesti autograd-moduulin avulla, joka seuraa tensorien operaatioita ja laskee derivaatat tehokkaasti.

Gradienttien seurannan käyttöönotto

Gradienttien seuranta tensorille otetaan käyttöön requires_grad=True -argumentilla tensorin luomisen yhteydessä. Tämä ohjeistaa PyTorchia seuraamaan kaikkia tensorille tehtyjä operaatioita gradienttien laskentaa varten.


              1234
            
import torch
# Create a tensor with gradient tracking enabled
tensor = torch.tensor(2.0, requires_grad=True)
print(tensor)

Laskentaverkon rakentaminen

PyTorch rakentaa dynaamisen laskentaverkon suorittaessasi operaatioita tensoreilla, joilla on requires_grad=True. Tämä verkko tallentaa tensorien ja operaatioiden väliset suhteet mahdollistaen automaattisen differentiaation.

Aloitamme määrittelemällä yksinkertaisen polynomifunktion:

y = 5x3 + 2x2 + 4x + 8

Tavoitteenamme on laskea derivaatta muuttujan x suhteen kohdassa x = 2.


              123456
            
import torch
# Define the tensor
x = torch.tensor(2.0, requires_grad=True)
# Define the function
y = 5 * x ** 3 + 2 * x ** 2 + 4 * x + 8
print(f"Function output: {y}")

Tämän laskentaverkon visualisointi, joka on luotu PyTorchViz-kirjastolla, voi näyttää melko monimutkaiselta, mutta se havainnollistaa tehokkaasti sen keskeisen ajatuksen:

Gradienttien laskeminen

Gradientin laskemiseksi tulee kutsua backward()-metodia tulos-tensorille. Tämä laskee funktion derivaatan suhteessa syöte-tensoriin.

Laskettu gradientti on tämän jälkeen saatavilla .grad-attribuutin kautta.


              12345678
            
import torch
x = torch.tensor(2.0, requires_grad=True)
y = 5 * x ** 3 + 2 * x ** 2 + 4 * x + 8
# Perform backpropagation
y.backward()
# Print the gradient of x
grad = x.grad
print(f"Gradient of x: {grad}")

Laskettu gradientti on y:n derivaatta suhteessa x:ään, arvioituna kohdassa x = 2.

Oliko kaikki selvää?

Kiitos palautteestasi!

Osio 2. Luku 1

Kysy tekoälyä

Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme

Gradientit PyTorchissa