Encontrando os Parâmetros

A Regressão Logística exige apenas que o computador aprenda os melhores parâmetros $β$. Para isso, é necessário definir o que significa "melhores parâmetros". Vamos relembrar como o modelo funciona: ele prevê o $p$ – probabilidade de pertencer à classe 1:

Onde

Obviamente, o modelo com bons parâmetros é aquele que prevê $p$ alto (próximo de 1) para instâncias que realmente pertencem à classe 1 e $p$ baixo (próximo de 0) para instâncias cuja classe real é 0.

Para medir o quão ruim ou bom é o modelo, utilizamos uma função de custo. Na regressão linear, usamos o MSE (erro quadrático médio) como função de custo. Desta vez, uma função diferente é utilizada:

Aqui, $p$ representa a probabilidade de pertencer à classe 1, conforme previsto pelo modelo, enquanto $y$ denota o valor real do alvo.

Essa função não apenas penaliza previsões incorretas, mas também considera a confiança do modelo em suas previsões. Como ilustrado na imagem acima, quando o valor de $p$ se aproxima de $y$ (o alvo real), a função de custo permanece relativamente pequena, indicando que o modelo selecionou corretamente a classe com confiança. Por outro lado, se a previsão estiver incorreta, a função de custo aumenta exponencialmente à medida que a confiança do modelo na classe incorreta cresce.

No contexto de classificação binária com uma função sigmoide, a função de custo utilizada é chamada especificamente de perda binária de entropia cruzada (binary cross-entropy loss), conforme mostrado acima. É importante observar que também existe uma forma geral conhecida como perda de entropia cruzada (cross-entropy loss ou entropia cruzada categórica) utilizada para problemas de classificação multiclasse.

A perda de entropia cruzada categórica para uma única instância de treinamento é calculada da seguinte forma:

Onde

• $C$ é o número de classes;
• $y_i$ é o valor alvo real (1 se a classe for a correta, 0 caso contrário);
• $p_i$ é a probabilidade prevista da instância pertencer à classe $i$.

Calcula-se a função de perda para cada instância de treinamento e tira-se a média. Essa média é chamada de função de custo. A Regressão Logística encontra os parâmetros $\beta$ que minimizam a função de custo.