Notice: This page requires JavaScript to function properly.
Please enable JavaScript in your browser settings or update your browser.
Aprenda Encontrando os Parâmetros | Regressão Logística
Classificação com Python

bookEncontrando os Parâmetros

A Regressão Logística exige apenas que o computador aprenda os melhores parâmetros ββ. Para isso, é necessário definir o que significa "melhores parâmetros". Vamos relembrar como o modelo funciona: ele prevê o pp - probabilidade de pertencer à classe 1:

p=σ(z)=σ(β0+β1x1+...)p = \sigma (z) = \sigma (\beta_0 + \beta_1x_1 + ...)

Onde

σ(z)=11+ez\sigma (z) = \frac{1}{1 + e^{-z}}

Obviamente, o modelo com bons parâmetros é aquele que prevê pp alto (próximo de 1) para instâncias que realmente pertencem à classe 1 e pp baixo (próximo de 0) para instâncias cuja classe real é 0.

Para medir o quão ruim ou bom é o modelo, utiliza-se uma função de custo. Na regressão linear, utilizava-se o MSE (erro quadrático médio) como função de custo. Desta vez, uma função diferente é utilizada:

Aqui, pp representa a probabilidade de pertencer à classe 1, conforme previsto pelo modelo, enquanto yy denota o valor real do alvo.

Esta função não apenas penaliza previsões incorretas, mas também considera a confiança do modelo em suas previsões. Como ilustrado na imagem acima, quando o valor de pp se aproxima de yy (o alvo real), a função de custo permanece relativamente pequena, indicando que o modelo selecionou corretamente a classe com confiança. Por outro lado, se a previsão estiver incorreta, a função de custo aumenta exponencialmente à medida que a confiança do modelo na classe incorreta cresce.

No contexto de classificação binária com uma função sigmoide, a função de custo utilizada é chamada especificamente de perda binária de entropia cruzada (binary cross-entropy loss), que foi apresentada acima. É importante observar que também existe uma forma geral conhecida como perda de entropia cruzada (ou entropia cruzada categórica), utilizada para problemas de classificação multiclasse.

A perda de entropia cruzada categórica para uma única instância de treinamento é calculada da seguinte forma:

Categorical Cross-Entropy Loss=i=1Cyilog(pi)\text{Categorical Cross-Entropy Loss} = -\sum_{i=1}^{C} y_i \log(p_i)

Onde

  • CC é o número de classes;
  • yiy_i é o valor real do alvo (1 se a classe for a correta, 0 caso contrário);
  • pip_i é a probabilidade prevista da instância pertencer à classe ii.

Calculamos a função de perda para cada instância de treinamento e tiramos a média. Essa média é chamada de função de custo. A Regressão Logística encontra os parâmetros β\beta que minimizam a função de custo.

question mark

Qual destas é utilizada como função de perda em tarefas de classificação?

Select the correct answer

Tudo estava claro?

Como podemos melhorá-lo?

Obrigado pelo seu feedback!

Seção 2. Capítulo 2

Pergunte à IA

expand

Pergunte à IA

ChatGPT

Pergunte o que quiser ou experimente uma das perguntas sugeridas para iniciar nosso bate-papo

Suggested prompts:

Can you explain why binary cross-entropy is preferred over MSE for logistic regression?

What does the sigmoid function do in logistic regression?

How does the cost function help improve the model's predictions?

Awesome!

Completion rate improved to 4.17

bookEncontrando os Parâmetros

Deslize para mostrar o menu

A Regressão Logística exige apenas que o computador aprenda os melhores parâmetros ββ. Para isso, é necessário definir o que significa "melhores parâmetros". Vamos relembrar como o modelo funciona: ele prevê o pp - probabilidade de pertencer à classe 1:

p=σ(z)=σ(β0+β1x1+...)p = \sigma (z) = \sigma (\beta_0 + \beta_1x_1 + ...)

Onde

σ(z)=11+ez\sigma (z) = \frac{1}{1 + e^{-z}}

Obviamente, o modelo com bons parâmetros é aquele que prevê pp alto (próximo de 1) para instâncias que realmente pertencem à classe 1 e pp baixo (próximo de 0) para instâncias cuja classe real é 0.

Para medir o quão ruim ou bom é o modelo, utiliza-se uma função de custo. Na regressão linear, utilizava-se o MSE (erro quadrático médio) como função de custo. Desta vez, uma função diferente é utilizada:

Aqui, pp representa a probabilidade de pertencer à classe 1, conforme previsto pelo modelo, enquanto yy denota o valor real do alvo.

Esta função não apenas penaliza previsões incorretas, mas também considera a confiança do modelo em suas previsões. Como ilustrado na imagem acima, quando o valor de pp se aproxima de yy (o alvo real), a função de custo permanece relativamente pequena, indicando que o modelo selecionou corretamente a classe com confiança. Por outro lado, se a previsão estiver incorreta, a função de custo aumenta exponencialmente à medida que a confiança do modelo na classe incorreta cresce.

No contexto de classificação binária com uma função sigmoide, a função de custo utilizada é chamada especificamente de perda binária de entropia cruzada (binary cross-entropy loss), que foi apresentada acima. É importante observar que também existe uma forma geral conhecida como perda de entropia cruzada (ou entropia cruzada categórica), utilizada para problemas de classificação multiclasse.

A perda de entropia cruzada categórica para uma única instância de treinamento é calculada da seguinte forma:

Categorical Cross-Entropy Loss=i=1Cyilog(pi)\text{Categorical Cross-Entropy Loss} = -\sum_{i=1}^{C} y_i \log(p_i)

Onde

  • CC é o número de classes;
  • yiy_i é o valor real do alvo (1 se a classe for a correta, 0 caso contrário);
  • pip_i é a probabilidade prevista da instância pertencer à classe ii.

Calculamos a função de perda para cada instância de treinamento e tiramos a média. Essa média é chamada de função de custo. A Regressão Logística encontra os parâmetros β\beta que minimizam a função de custo.

question mark

Qual destas é utilizada como função de perda em tarefas de classificação?

Select the correct answer

Tudo estava claro?

Como podemos melhorá-lo?

Obrigado pelo seu feedback!

Seção 2. Capítulo 2
some-alt