Qué es la regresión logística

Regresión logística es en realidad un algoritmo de clasificación, a pesar de la palabra "Regresión" en su nombre.

Recibe su nombre porque se basa en la regresión lineal, pero utiliza una función logística (sigmoide) para convertir la salida en probabilidades, lo que le permite clasificar datos en categorías en lugar de predecir valores continuos.

Supón que deseas predecir si una persona incumplirá un primer préstamo (sin historial crediticio disponible).

En la regresión lineal, se construye una ecuación para predecir valores numéricos. Se puede usar la misma ecuación para calcular una "puntuación de confiabilidad". Esta tendrá en cuenta características como ingresos, duración del empleo actual, relación deuda-ingresos, etc. Una puntuación de confiabilidad más alta significa una menor probabilidad de incumplimiento.

Los valores $\beta$ son los parámetros que el modelo necesita aprender. Durante el entrenamiento, el ordenador ajusta estos valores para realizar mejores predicciones. Esto se logra intentando minimizar la diferencia entre los resultados predichos y las etiquetas reales; esta diferencia se mide mediante lo que se denomina la función de pérdida.

Para convertir la salida bruta del modelo en una etiqueta de clase (0 o 1), la Regresión Logística utiliza una función sigmoide. Esta función toma cualquier número real y lo comprime en un rango entre 0 y 1, lo que permite interpretarlo como una probabilidad.

La función sigmoide se define como:

Aquí, $z$ es la puntuación (también llamada logit) que calculamos previamente.

Dadas dos clases: 1 (a person will default on a first loan) y 0 (a person won't default on a first loan), después de aplicar la sigmoide, se obtiene la probabilidad de que la instancia pertenezca a la clase 1.

Para tomar una decisión final (0 o 1), se compara la probabilidad con un umbral - normalmente 0.5:

• Si la probabilidad es mayor que 0.5, se predice 1;
• Si es menor o igual a 0.5, se predice 0.