Regressão Logística é, na verdade, um algoritmo de classificação, apesar da palavra "Regressão" em seu nome.

Recebe esse nome porque é baseada na Regressão Linear, mas utiliza uma função logística (sigmoide) para converter o resultado em probabilidades, permitindo classificar dados em categorias em vez de prever valores contínuos.

Suponha que você queira prever se uma pessoa irá inadimplir em um primeiro empréstimo (sem histórico de crédito disponível).

Na Regressão Linear, construímos uma equação para prever valores numéricos. Podemos usar a mesma equação para calcular um "índice de confiabilidade". Esse índice considerará características como renda, tempo de emprego atual, razão dívida/renda, entre outros. Um índice de confiabilidade mais alto indica uma menor chance de inadimplência.

Os valores $\beta$ são os parâmetros que o modelo precisa aprender. Durante o treinamento, o computador ajusta esses valores para realizar previsões mais precisas. Isso é feito tentando minimizar a diferença entre os resultados previstos e os rótulos reais - essa diferença é medida por algo chamado função de perda.

Para transformar a saída bruta do modelo em um rótulo de classe (0 ou 1), a Regressão Logística utiliza uma função sigmoide. Essa função recebe qualquer número real e comprime em um intervalo entre 0 e 1, tornando-o interpretável como uma probabilidade.

A função sigmoide é definida como:

Aqui, $z$ é a pontuação (também chamada de logito) que calculamos anteriormente.

Dadas duas classes: 1 (uma pessoa irá inadimplir um primeiro empréstimo) e 0 (uma pessoa não irá inadimplir um primeiro empréstimo), após aplicar a sigmoide, obtemos a probabilidade da instância pertencer à classe 1.

Para tomar uma decisão final (0 ou 1), comparamos a probabilidade com um limiar - geralmente 0,5:

• Se a probabilidade for maior que 0,5, prevemos 1;
• Se for menor ou igual a 0,5, prevemos 0.