Encontrando os Parâmetros
A Regressão Logística exige apenas que o computador aprenda os melhores parâmetros β. Para isso, é necessário definir o que significa "melhores parâmetros". Vamos relembrar como o modelo funciona: ele prevê o p - probabilidade de pertencer à classe 1:
p=σ(z)=σ(β0+β1x1+...)Onde
σ(z)=1+e−z1Obviamente, o modelo com bons parâmetros é aquele que prevê p alto (próximo de 1) para instâncias que realmente pertencem à classe 1 e p baixo (próximo de 0) para instâncias cuja classe real é 0.
Para medir o quão ruim ou bom é o modelo, utiliza-se uma função de custo. Na regressão linear, utilizava-se o MSE (erro quadrático médio) como função de custo. Desta vez, uma função diferente é utilizada:
Aqui, p representa a probabilidade de pertencer à classe 1, conforme previsto pelo modelo, enquanto y denota o valor real do alvo.
Esta função não apenas penaliza previsões incorretas, mas também considera a confiança do modelo em suas previsões. Como ilustrado na imagem acima, quando o valor de p se aproxima de y (o alvo real), a função de custo permanece relativamente pequena, indicando que o modelo selecionou corretamente a classe com confiança. Por outro lado, se a previsão estiver incorreta, a função de custo aumenta exponencialmente à medida que a confiança do modelo na classe incorreta cresce.
No contexto de classificação binária com uma função sigmoide, a função de custo utilizada é chamada especificamente de perda binária de entropia cruzada (binary cross-entropy loss), que foi apresentada acima. É importante observar que também existe uma forma geral conhecida como perda de entropia cruzada (ou entropia cruzada categórica), utilizada para problemas de classificação multiclasse.
A perda de entropia cruzada categórica para uma única instância de treinamento é calculada da seguinte forma:
Categorical Cross-Entropy Loss=−i=1∑Cyilog(pi)Onde
- C é o número de classes;
- yi é o valor real do alvo (1 se a classe for a correta, 0 caso contrário);
- pi é a probabilidade prevista da instância pertencer à classe i.
Calculamos a função de perda para cada instância de treinamento e tiramos a média. Essa média é chamada de função de custo. A Regressão Logística encontra os parâmetros β que minimizam a função de custo.
Obrigado pelo seu feedback!
Pergunte à IA
Pergunte à IA
Pergunte o que quiser ou experimente uma das perguntas sugeridas para iniciar nosso bate-papo
Awesome!
Completion rate improved to 4.17Encontrando os Parâmetros
Deslize para mostrar o menu
A Regressão Logística exige apenas que o computador aprenda os melhores parâmetros β. Para isso, é necessário definir o que significa "melhores parâmetros". Vamos relembrar como o modelo funciona: ele prevê o p - probabilidade de pertencer à classe 1:
p=σ(z)=σ(β0+β1x1+...)Onde
σ(z)=1+e−z1Obviamente, o modelo com bons parâmetros é aquele que prevê p alto (próximo de 1) para instâncias que realmente pertencem à classe 1 e p baixo (próximo de 0) para instâncias cuja classe real é 0.
Para medir o quão ruim ou bom é o modelo, utiliza-se uma função de custo. Na regressão linear, utilizava-se o MSE (erro quadrático médio) como função de custo. Desta vez, uma função diferente é utilizada:
Aqui, p representa a probabilidade de pertencer à classe 1, conforme previsto pelo modelo, enquanto y denota o valor real do alvo.
Esta função não apenas penaliza previsões incorretas, mas também considera a confiança do modelo em suas previsões. Como ilustrado na imagem acima, quando o valor de p se aproxima de y (o alvo real), a função de custo permanece relativamente pequena, indicando que o modelo selecionou corretamente a classe com confiança. Por outro lado, se a previsão estiver incorreta, a função de custo aumenta exponencialmente à medida que a confiança do modelo na classe incorreta cresce.
No contexto de classificação binária com uma função sigmoide, a função de custo utilizada é chamada especificamente de perda binária de entropia cruzada (binary cross-entropy loss), que foi apresentada acima. É importante observar que também existe uma forma geral conhecida como perda de entropia cruzada (ou entropia cruzada categórica), utilizada para problemas de classificação multiclasse.
A perda de entropia cruzada categórica para uma única instância de treinamento é calculada da seguinte forma:
Categorical Cross-Entropy Loss=−i=1∑Cyilog(pi)Onde
- C é o número de classes;
- yi é o valor real do alvo (1 se a classe for a correta, 0 caso contrário);
- pi é a probabilidade prevista da instância pertencer à classe i.
Calculamos a função de perda para cada instância de treinamento e tiramos a média. Essa média é chamada de função de custo. A Regressão Logística encontra os parâmetros β que minimizam a função de custo.
Obrigado pelo seu feedback!
