Decorador de Função

Um decorador de função é uma ferramenta que 'envolve' uma função para modificar seu comportamento. No TensorFlow, o decorador mais utilizado é o @tf.function, que converte uma função Python em um grafo do TensorFlow.

Finalidade do @tf.function

A principal finalidade de utilizar decoradores como o @tf.function é otimizar os cálculos. Quando uma função é decorada com @tf.function, o TensorFlow converte a função em um grafo altamente eficiente que pode ser executado muito mais rapidamente, especialmente para operações complexas. Essa conversão permite que o TensorFlow aplique otimizações e explore o paralelismo, o que é fundamental para o desempenho em tarefas de aprendizado de máquina.

Exemplo

Um exemplo é fornecido para melhor compreensão.


              1234567891011
            
import tensorflow as tf

# Define a simple function and decorate it with `@tf.function`
@tf.function
def compute_area(radius):
    return 3.1415 * radius ** 2

# Call the function
area = compute_area(tf.constant(3.0))

print(f"The area is: {area.numpy()}")

Neste código, compute_area() é convertido em um grafo do TensorFlow, tornando sua execução mais rápida e eficiente.

Como funciona a execução em grafo?

O TensorFlow opera em dois modos: Execução Eager e Execução em Grafo. Por padrão, o TensorFlow executa no modo Execução Eager, o que significa que as operações são executadas conforme são definidas, proporcionando uma interface flexível e intuitiva. No entanto, a Execução Eager pode ser menos eficiente para cálculos complexos e modelos em larga escala.

É nesse contexto que @tf.function e a Execução em Grafo entram em cena. Ao utilizar o decorador @tf.function em uma função, o TensorFlow converte essa função em um grafo estático de operações computacionais.

Técnicas de Otimização

Otimização de Grafo: O TensorFlow otimiza o grafo removendo nós não utilizados, mesclando subgrafos duplicados e realizando outras otimizações em nível de grafo. Isso resulta em execução mais rápida e menor uso de memória.
Execução Mais Rápida: grafos são executados mais rapidamente do que operações em modo eager porque reduzem a sobrecarga do Python. O Python não está envolvido na execução do grafo, o que elimina a sobrecarga das chamadas ao interpretador Python.
Paralelismo e Distribuição: grafos permitem que o TensorFlow identifique facilmente oportunidades de paralelismo e distribua os cálculos entre vários dispositivos, como CPUs e GPUs;
Cache e Reutilização: quando uma função decorada com @tf.function é chamada com a mesma assinatura de entrada, o TensorFlow reutiliza o grafo previamente criado, evitando a necessidade de recriar o grafo, o que economiza tempo.

Exemplo com Gradient Tape


              1234567891011
            
import tensorflow as tf

@tf.function
def compute_gradient(x):
    with tf.GradientTape() as tape:
        y = x * x * x
    return tape.gradient(y, x)

x = tf.Variable(3.0)
grad = compute_gradient(x)
print(f"The gradient at x = {x.numpy()} is {grad.numpy()}")

Neste exemplo, compute_gradient é uma função que calcula o gradiente de y = x^3 em um determinado ponto x. O decorador @tf.function garante que a função seja executada como um grafo do TensorFlow.

Exemplo com Lógica Condicional


              1234567891011121314
            
import tensorflow as tf

@tf.function
def compute_gradient_conditional(x):
    with tf.GradientTape() as tape:
        if tf.reduce_sum(x) > 0:
            y = x * x
        else:
            y = x * x * x
    return tape.gradient(y, x)

x = tf.Variable([-2.0, 2.0])
grad = compute_gradient_conditional(x)
print(f"The gradient at x = {x.numpy()} is {grad.numpy()}")

Neste exemplo, a função calcula gradientes diferentes com base em uma condição. O @tf.function do TensorFlow não apenas converte o grafo de computação estático, mas também lida de forma eficiente com elementos dinâmicos como condicionais e loops.

Tarefa

Swipe to start coding

Nesta tarefa, você irá comparar os tempos de execução de duas funções TensorFlow que realizam multiplicação de matrizes: uma com o decorador @tf.function e outra sem ele.

Etapas

Definir a função matrix_multiply_optimized, garantindo que inclua o decorador @tf.function.
Completar ambas as funções calculando a média das matrizes resultantes.
Gerar duas matrizes aleatórias uniformemente distribuídas utilizando as funções de geração de matrizes aleatórias do TensorFlow.

Solução

Tudo estava claro?

Obrigado pelo seu feedback!

Seção 2. Capítulo 2

single

Pergunte à IA

Pergunte o que quiser ou experimente uma das perguntas sugeridas para iniciar nosso bate-papo

Awesome!

Completion rate improved to 5.56

Deslize para mostrar o menu

Decorador de Função

Finalidade do @tf.function

Exemplo

Um exemplo é fornecido para melhor compreensão.


              1234567891011
            
import tensorflow as tf

# Define a simple function and decorate it with `@tf.function`
@tf.function
def compute_area(radius):
    return 3.1415 * radius ** 2

# Call the function
area = compute_area(tf.constant(3.0))

print(f"The area is: {area.numpy()}")

Neste código, compute_area() é convertido em um grafo do TensorFlow, tornando sua execução mais rápida e eficiente.

Como funciona a execução em grafo?

Técnicas de Otimização

Otimização de Grafo: O TensorFlow otimiza o grafo removendo nós não utilizados, mesclando subgrafos duplicados e realizando outras otimizações em nível de grafo. Isso resulta em execução mais rápida e menor uso de memória.
Execução Mais Rápida: grafos são executados mais rapidamente do que operações em modo eager porque reduzem a sobrecarga do Python. O Python não está envolvido na execução do grafo, o que elimina a sobrecarga das chamadas ao interpretador Python.
Paralelismo e Distribuição: grafos permitem que o TensorFlow identifique facilmente oportunidades de paralelismo e distribua os cálculos entre vários dispositivos, como CPUs e GPUs;
Cache e Reutilização: quando uma função decorada com @tf.function é chamada com a mesma assinatura de entrada, o TensorFlow reutiliza o grafo previamente criado, evitando a necessidade de recriar o grafo, o que economiza tempo.

Exemplo com Gradient Tape


              1234567891011
            
import tensorflow as tf

@tf.function
def compute_gradient(x):
    with tf.GradientTape() as tape:
        y = x * x * x
    return tape.gradient(y, x)

x = tf.Variable(3.0)
grad = compute_gradient(x)
print(f"The gradient at x = {x.numpy()} is {grad.numpy()}")

Exemplo com Lógica Condicional


              1234567891011121314
            
import tensorflow as tf

@tf.function
def compute_gradient_conditional(x):
    with tf.GradientTape() as tape:
        if tf.reduce_sum(x) > 0:
            y = x * x
        else:
            y = x * x * x
    return tape.gradient(y, x)

x = tf.Variable([-2.0, 2.0])
grad = compute_gradient_conditional(x)
print(f"The gradient at x = {x.numpy()} is {grad.numpy()}")

Tarefa

Swipe to start coding

Nesta tarefa, você irá comparar os tempos de execução de duas funções TensorFlow que realizam multiplicação de matrizes: uma com o decorador @tf.function e outra sem ele.

Etapas

Definir a função matrix_multiply_optimized, garantindo que inclua o decorador @tf.function.
Completar ambas as funções calculando a média das matrizes resultantes.
Gerar duas matrizes aleatórias uniformemente distribuídas utilizando as funções de geração de matrizes aleatórias do TensorFlow.

Solução

Mude para o desktop para praticar no mundo realContinue de onde você está usando uma das opções abaixo

Tudo estava claro?

Obrigado pelo seu feedback!

Seção 2. Capítulo 2

single

Execução de Grafo

Decorador de Função

Finalidade do @tf.function

Exemplo

Como funciona a execução em grafo?

Técnicas de Otimização

Exemplo com Gradient Tape

Exemplo com Lógica Condicional

Etapas

Solução

Awesome!

Execução de Grafo

Decorador de Função

Finalidade do @tf.function

Exemplo

Como funciona a execução em grafo?

Técnicas de Otimização

Exemplo com Gradient Tape

Exemplo com Lógica Condicional

Etapas

Solução