Oppiskele Gradienttiteippi

Osio 1. Luku 13

single

Pyyhkäise näyttääksesi valikon

Perustavanlaatuisten tensoritoimintojen ymmärtäminen mahdollistaa siirtymisen näiden prosessien tehostamiseen ja nopeuttamiseen hyödyntämällä TensorFlown sisäänrakennettuja ominaisuuksia. Ensimmäinen näistä edistyneistä työkaluista on Gradient Tape.

Mikä on Gradient Tape?

Tässä luvussa käsitellään yhtä TensorFlown keskeisistä käsitteistä, Gradient Tape -ominaisuutta. Tämä ominaisuus on olennainen gradienttipohjaisten optimointimenetelmien ymmärtämisessä ja toteuttamisessa, erityisesti syväoppimisessa.

Gradient Tape TensorFlow'ssa on työkalu, joka tallentaa operaatiot automaattista differentiaatiota varten. Kun operaatioita suoritetaan Gradient Tape -lohkon sisällä, TensorFlow seuraa kaikkia suoritettuja laskutoimituksia. Tämä on erityisen hyödyllistä koneoppimismallien koulutuksessa, jossa gradientteja tarvitaan mallin parametrien optimointiin.

Huomio

Käytännössä gradientti on osittaisderivaattojen joukko.

Gradient Tapen käyttö

Gradient Tapen käyttöön liittyvät seuraavat vaiheet:

Luo Gradient Tape -lohko: käytä with tf.GradientTape() as tape:. Tämän lohkon sisällä kaikki laskutoimitukset tallennetaan;
Määrittele laskutoimitukset: suorita tensorien kanssa operaatioita lohkon sisällä (esim. määrittele neuroverkon eteenpäin suuntautuva laskenta);
Laske gradientit: käytä tape.gradient(target, sources) laskeaksesi gradientit kohteen ja lähteiden välillä.

Yksinkertainen gradientin laskenta

Yksinkertainen esimerkki tämän ymmärtämiseksi paremmin.


              123456789101112131415
            
import tensorflow as tf

# Define input variables
x = tf.Variable(3.0)

# Start recording the operations
with tf.GradientTape() as tape:
    # Define the calculations
    y = x * x
    
# Extract the gradient for the specific input (`x`)
grad = tape.gradient(y, x)

print(f'Result of y: {y}')
print(f'The gradient of y with respect to x is: {grad.numpy()}')

Tämä koodi laskee funktion y = x^2 gradientin kohdassa x = 3. Tämä vastaa osittaisderivaattaa y:stä muuttujan x suhteen.

Useita osittaisderivaattoja

Kun ulostuloon vaikuttaa useita syötteitä, voidaan laskea osittaisderivaatta kunkin näiden syötteiden suhteen (tai vain valittujen). Tämä tehdään antamalla muuttujalista sources-parametrina.

Tämän operaation tuloksena saadaan vastaava tensorilista, jossa kukin tensori edustaa osittaisderivaattaa suhteessa kuhunkin sources-listassa määriteltyyn muuttujaan.


              1234567891011121314151617
            
import tensorflow as tf

# Define input variables
x = tf.Variable(tf.fill((2, 3), 3.0))
z = tf.Variable(5.0)

# Start recording the operations
with tf.GradientTape() as tape:
    # Define the calculations
    y = tf.reduce_sum(x * x + 2 * z)
    
# Extract the gradient for the specific inputs (`x` and `z`)
grad = tape.gradient(y, [x, z])

print(f'Result of y: {y}')
print(f"The gradient of y with respect to x is:\n{grad[0].numpy()}")
print(f"The gradient of y with respect to z is: {grad[1].numpy()}")

Tämä koodi laskee funktion y = sum(x^2 + 2*z) gradientin annetuilla x- ja z-arvoilla. Tässä esimerkissä x:n gradientti esitetään kaksiulotteisena tensorina, jossa jokainen alkio vastaa alkuperäisen x-matriisin arvon osittaisderivaattaa.

Huomio

Lisätietoja Gradient Tape -ominaisuuksista, kuten korkeamman kertaluvun derivaatat ja Jacobin matriisin erottaminen, löytyy virallisesta TensorFlow-dokumentaatiosta.

Tehtävä

Swipe to start coding

Tavoitteena on laskea annetun matemaattisen funktion gradientti (derivaatta) tietyssä pisteessä TensorFlow'n Gradient Tape -toiminnallisuutta hyödyntäen. Funktio ja piste annetaan, ja näet, kuinka TensorFlow'ta käytetään gradientin löytämiseen kyseisessä pisteessä.

Tarkastellaan yksimuuttujaista toista astetta olevaa funktiota x, joka on määritelty seuraavasti:

f(x) = x^2 + 2x - 1

Tehtävänäsi on laskea tämän funktion derivaatta kohdassa x = 2.

Vaiheet

Määrittele muuttuja x siihen pisteeseen, jossa haluat laskea derivaatan.
Käytä Gradient Tape -toimintoa tallentaaksesi funktion f(x) laskennan.
Laske funktion f(x) gradientti annetussa pisteessä.

Huom

Gradientti voidaan laskea vain liukulukutyyppisille arvoille.

Ratkaisu

Vaihda työpöytään todellista harjoitusta vartenJatka siitä, missä olet käyttämällä jotakin alla olevista vaihtoehdoista

Oliko kaikki selvää?

Kiitos palautteestasi!

Osio 1. Luku 13

single

Kysy tekoälyä

Kysy mitä tahansa tai kokeile jotakin ehdotetuista kysymyksistä aloittaaksesi keskustelumme