A Regressão Logística exige apenas que o computador aprenda os melhores parâmetros β. Para isso, precisamos definir o que significa "melhores parâmetros". Vamos relembrar como o modelo funciona: ele prevê o p - probabilidade de pertencer à classe 1.

Obviamente, o modelo com bons parâmetros é aquele que prevê um p alto (próximo de 1) para instâncias que são realmente da classe 1 e um p baixo (próximo de 0) para instâncias com a classe real 0.

Para medir o quão bom ou ruim o modelo é, usamos uma função de custo. Na regressão linear, utilizamos SSR como função de custo. Desta vez, é usada uma função diferente:

Aqui p é a probabilidade de pertencer à classe 1, prevista pelo modelo, e y é o valor alvo real.

Esta função não apenas penaliza previsões incorretas, mas também leva em conta o quão confiante o modelo estava em sua previsão.
Como você pode ver na imagem acima, se o valor de p está próximo de y (alvo real), então a função de custo é relativamente pequena. Isso significa que o modelo escolheu a classe correta com confiança.
Mas se a previsão está incorreta, a função de custo cresce exponencialmente à medida que a confiança do modelo na classe errada aumenta.

Calculamos a função de custo para cada instância de treinamento e tiramos a média. Esta função de custo é chamada de Perda de Entropia Cruzada. Então, a Regressão Logística simplesmente encontra os parâmetros β que minimizam a Perda de Entropia Cruzada.