Notice: This page requires JavaScript to function properly.
Please enable JavaScript in your browser settings or update your browser.
Aprenda Encontrando os Parâmetros | Regressão Logística
Classificação com Python

bookEncontrando os Parâmetros

A Regressão Logística exige apenas que o computador aprenda os melhores parâmetros ββ. Para isso, é necessário definir o que significa "melhores parâmetros". Vamos relembrar como o modelo funciona: ele prevê o pp - probabilidade de pertencer à classe 1:

p=σ(z)=σ(β0+β1x1+...)p = \sigma (z) = \sigma (\beta_0 + \beta_1x_1 + ...)

Onde

σ(z)=11+ez\sigma (z) = \frac{1}{1 + e^{-z}}

Obviamente, o modelo com bons parâmetros é aquele que prevê pp alto (próximo de 1) para instâncias que realmente pertencem à classe 1 e pp baixo (próximo de 0) para instâncias cuja classe real é 0.

Para medir o quão ruim ou bom é o modelo, utiliza-se uma função de custo. Na regressão linear, utilizava-se o MSE (erro quadrático médio) como função de custo. Desta vez, uma função diferente é utilizada:

Aqui, pp representa a probabilidade de pertencer à classe 1, conforme previsto pelo modelo, enquanto yy denota o valor real do alvo.

Esta função não apenas penaliza previsões incorretas, mas também considera a confiança do modelo em suas previsões. Como ilustrado na imagem acima, quando o valor de pp se aproxima de yy (o alvo real), a função de custo permanece relativamente pequena, indicando que o modelo selecionou corretamente a classe com confiança. Por outro lado, se a previsão estiver incorreta, a função de custo aumenta exponencialmente à medida que a confiança do modelo na classe incorreta cresce.

No contexto de classificação binária com uma função sigmoide, a função de custo utilizada é chamada especificamente de perda binária de entropia cruzada (binary cross-entropy loss), que foi apresentada acima. É importante observar que também existe uma forma geral conhecida como perda de entropia cruzada (ou entropia cruzada categórica), utilizada para problemas de classificação multiclasse.

A perda de entropia cruzada categórica para uma única instância de treinamento é calculada da seguinte forma:

Categorical Cross-Entropy Loss=i=1Cyilog(pi)\text{Categorical Cross-Entropy Loss} = -\sum_{i=1}^{C} y_i \log(p_i)

Onde

  • CC é o número de classes;
  • yiy_i é o valor real do alvo (1 se a classe for a correta, 0 caso contrário);
  • pip_i é a probabilidade prevista da instância pertencer à classe ii.

Calculamos a função de perda para cada instância de treinamento e tiramos a média. Essa média é chamada de função de custo. A Regressão Logística encontra os parâmetros β\beta que minimizam a função de custo.

question mark

Qual destas é utilizada como função de perda em tarefas de classificação?

Select the correct answer

Tudo estava claro?

Como podemos melhorá-lo?

Obrigado pelo seu feedback!

Seção 2. Capítulo 2

Pergunte à IA

expand

Pergunte à IA

ChatGPT

Pergunte o que quiser ou experimente uma das perguntas sugeridas para iniciar nosso bate-papo

Awesome!

Completion rate improved to 4.17

bookEncontrando os Parâmetros

Deslize para mostrar o menu

A Regressão Logística exige apenas que o computador aprenda os melhores parâmetros ββ. Para isso, é necessário definir o que significa "melhores parâmetros". Vamos relembrar como o modelo funciona: ele prevê o pp - probabilidade de pertencer à classe 1:

p=σ(z)=σ(β0+β1x1+...)p = \sigma (z) = \sigma (\beta_0 + \beta_1x_1 + ...)

Onde

σ(z)=11+ez\sigma (z) = \frac{1}{1 + e^{-z}}

Obviamente, o modelo com bons parâmetros é aquele que prevê pp alto (próximo de 1) para instâncias que realmente pertencem à classe 1 e pp baixo (próximo de 0) para instâncias cuja classe real é 0.

Para medir o quão ruim ou bom é o modelo, utiliza-se uma função de custo. Na regressão linear, utilizava-se o MSE (erro quadrático médio) como função de custo. Desta vez, uma função diferente é utilizada:

Aqui, pp representa a probabilidade de pertencer à classe 1, conforme previsto pelo modelo, enquanto yy denota o valor real do alvo.

Esta função não apenas penaliza previsões incorretas, mas também considera a confiança do modelo em suas previsões. Como ilustrado na imagem acima, quando o valor de pp se aproxima de yy (o alvo real), a função de custo permanece relativamente pequena, indicando que o modelo selecionou corretamente a classe com confiança. Por outro lado, se a previsão estiver incorreta, a função de custo aumenta exponencialmente à medida que a confiança do modelo na classe incorreta cresce.

No contexto de classificação binária com uma função sigmoide, a função de custo utilizada é chamada especificamente de perda binária de entropia cruzada (binary cross-entropy loss), que foi apresentada acima. É importante observar que também existe uma forma geral conhecida como perda de entropia cruzada (ou entropia cruzada categórica), utilizada para problemas de classificação multiclasse.

A perda de entropia cruzada categórica para uma única instância de treinamento é calculada da seguinte forma:

Categorical Cross-Entropy Loss=i=1Cyilog(pi)\text{Categorical Cross-Entropy Loss} = -\sum_{i=1}^{C} y_i \log(p_i)

Onde

  • CC é o número de classes;
  • yiy_i é o valor real do alvo (1 se a classe for a correta, 0 caso contrário);
  • pip_i é a probabilidade prevista da instância pertencer à classe ii.

Calculamos a função de perda para cada instância de treinamento e tiramos a média. Essa média é chamada de função de custo. A Regressão Logística encontra os parâmetros β\beta que minimizam a função de custo.

question mark

Qual destas é utilizada como função de perda em tarefas de classificação?

Select the correct answer

Tudo estava claro?

Como podemos melhorá-lo?

Obrigado pelo seu feedback!

Seção 2. Capítulo 2
some-alt