Encontrar los Parámetros

La regresión logística solo requiere que la computadora aprenda los mejores parámetros $β$. Para ello, necesitamos definir qué significa "mejores parámetros". Recordemos cómo funciona el modelo: predice la $p$ - probabilidad de pertenecer a la clase 1:

Donde

Evidentemente, el modelo con buenos parámetros es aquel que predice una $p$ alta (cercana a 1) para instancias que realmente pertenecen a la clase 1 y una $p$ baja (cercana a 0) para instancias cuya clase real es 0.

Para medir qué tan bueno o malo es el modelo, se utiliza una función de costo. En la regresión lineal, se utilizó MSE (error cuadrático medio) como función de costo. En este caso, se emplea una función diferente:

Aquí, $p$ representa la probabilidad de pertenecer a la clase 1, según lo predicho por el modelo, mientras que $y$ denota el valor real objetivo.

Esta función no solo penaliza las predicciones incorrectas, sino que también considera la confianza del modelo en sus predicciones. Como se ilustra en la imagen anterior, cuando el valor de $p$ se aproxima a $y$ (el valor objetivo real), la función de costo permanece relativamente baja, lo que indica que el modelo seleccionó con confianza la clase correcta. Por el contrario, si la predicción es incorrecta, la función de costo aumenta exponencialmente a medida que crece la confianza del modelo en la clase incorrecta.

En el contexto de la clasificación binaria con una función sigmoide, la función de costo utilizada se denomina específicamente pérdida de entropía cruzada binaria, como se mostró anteriormente. Es importante señalar que también existe una forma general conocida como pérdida de entropía cruzada (o entropía cruzada categórica) utilizada para problemas de clasificación multiclase.

La pérdida de entropía cruzada categórica para una sola instancia de entrenamiento se calcula de la siguiente manera:

Donde

• $C$ es el número de clases;
• $y_i$ es el valor objetivo real (1 si la clase es la correcta, 0 en caso contrario);
• $p_i$ es la probabilidad predicha de que la instancia pertenezca a la clase $i$.

Se calcula la función de pérdida para cada instancia de entrenamiento y se toma el promedio. Este promedio se denomina función de costo. La regresión logística encuentra los parámetros $\beta$ que minimizan la función de costo.