Encontrando os Parâmetros
A Regressão Logística exige apenas que o computador aprenda os melhores parâmetros β. Para isso, é necessário definir o que significa "melhores parâmetros". Vamos relembrar como o modelo funciona: ele prevê o p - probabilidade de pertencer à classe 1:
p=σ(z)=σ(β0+β1x1+...)Onde
σ(z)=1+e−z1Obviamente, o modelo com bons parâmetros é aquele que prevê p alto (próximo de 1) para instâncias que realmente pertencem à classe 1 e p baixo (próximo de 0) para instâncias cuja classe real é 0.
Para medir o quão ruim ou bom é o modelo, utiliza-se uma função de custo. Na regressão linear, utilizava-se o MSE (erro quadrático médio) como função de custo. Desta vez, uma função diferente é utilizada:
Aqui, p representa a probabilidade de pertencer à classe 1, conforme previsto pelo modelo, enquanto y denota o valor real do alvo.
Esta função não apenas penaliza previsões incorretas, mas também considera a confiança do modelo em suas previsões. Como ilustrado na imagem acima, quando o valor de p se aproxima de y (o alvo real), a função de custo permanece relativamente pequena, indicando que o modelo selecionou corretamente a classe com confiança. Por outro lado, se a previsão estiver incorreta, a função de custo aumenta exponencialmente à medida que a confiança do modelo na classe incorreta cresce.
No contexto de classificação binária com uma função sigmoide, a função de custo utilizada é chamada especificamente de perda binária de entropia cruzada (binary cross-entropy loss), que foi apresentada acima. É importante observar que também existe uma forma geral conhecida como perda de entropia cruzada (ou entropia cruzada categórica), utilizada para problemas de classificação multiclasse.
A perda de entropia cruzada categórica para uma única instância de treinamento é calculada da seguinte forma:
Categorical Cross-Entropy Loss=−i=1∑Cyilog(pi)Onde
- C é o número de classes;
- yi é o valor real do alvo (1 se a classe for a correta, 0 caso contrário);
- pi é a probabilidade prevista da instância pertencer à classe i.
Calculamos a função de perda para cada instância de treinamento e tiramos a média. Essa média é chamada de função de custo. A Regressão Logística encontra os parâmetros β que minimizam a função de custo.
Obrigado pelo seu feedback!
Pergunte à IA
Pergunte à IA
Pergunte o que quiser ou experimente uma das perguntas sugeridas para iniciar nosso bate-papo
Can you explain why binary cross-entropy is preferred over MSE for logistic regression?
What does the sigmoid function do in logistic regression?
How does the cost function help improve the model's predictions?
Awesome!
Completion rate improved to 4.17Encontrando os Parâmetros
Deslize para mostrar o menu
A Regressão Logística exige apenas que o computador aprenda os melhores parâmetros β. Para isso, é necessário definir o que significa "melhores parâmetros". Vamos relembrar como o modelo funciona: ele prevê o p - probabilidade de pertencer à classe 1:
p=σ(z)=σ(β0+β1x1+...)Onde
σ(z)=1+e−z1Obviamente, o modelo com bons parâmetros é aquele que prevê p alto (próximo de 1) para instâncias que realmente pertencem à classe 1 e p baixo (próximo de 0) para instâncias cuja classe real é 0.
Para medir o quão ruim ou bom é o modelo, utiliza-se uma função de custo. Na regressão linear, utilizava-se o MSE (erro quadrático médio) como função de custo. Desta vez, uma função diferente é utilizada:
Aqui, p representa a probabilidade de pertencer à classe 1, conforme previsto pelo modelo, enquanto y denota o valor real do alvo.
Esta função não apenas penaliza previsões incorretas, mas também considera a confiança do modelo em suas previsões. Como ilustrado na imagem acima, quando o valor de p se aproxima de y (o alvo real), a função de custo permanece relativamente pequena, indicando que o modelo selecionou corretamente a classe com confiança. Por outro lado, se a previsão estiver incorreta, a função de custo aumenta exponencialmente à medida que a confiança do modelo na classe incorreta cresce.
No contexto de classificação binária com uma função sigmoide, a função de custo utilizada é chamada especificamente de perda binária de entropia cruzada (binary cross-entropy loss), que foi apresentada acima. É importante observar que também existe uma forma geral conhecida como perda de entropia cruzada (ou entropia cruzada categórica), utilizada para problemas de classificação multiclasse.
A perda de entropia cruzada categórica para uma única instância de treinamento é calculada da seguinte forma:
Categorical Cross-Entropy Loss=−i=1∑Cyilog(pi)Onde
- C é o número de classes;
- yi é o valor real do alvo (1 se a classe for a correta, 0 caso contrário);
- pi é a probabilidade prevista da instância pertencer à classe i.
Calculamos a função de perda para cada instância de treinamento e tiramos a média. Essa média é chamada de função de custo. A Regressão Logística encontra os parâmetros β que minimizam a função de custo.
Obrigado pelo seu feedback!
