La regresión logística solo requiere que la computadora aprenda los mejores parámetros $β$. Para ello, es necesario definir qué significa "mejores parámetros". Recordemos cómo funciona el modelo: predice la $p$ - probabilidad de pertenecer a la clase 1:

Donde

Evidentemente, el modelo con buenos parámetros es aquel que predice una $p$ alta (cercana a 1) para instancias que realmente pertenecen a la clase 1 y una $p$ baja (cercana a 0) para instancias cuya clase real es 0.

Para medir qué tan bueno o malo es el modelo, se utiliza una función de costo. En la regresión lineal, se utilizó MSE (error cuadrático medio) como función de costo. En este caso, se emplea una función diferente:

Aquí, $p$ representa la probabilidad de pertenecer a la clase 1, según lo predicho por el modelo, mientras que $y$ denota el valor objetivo real.

Esta función no solo penaliza las predicciones incorrectas, sino que también considera la confianza del modelo en sus predicciones. Como se ilustra en la imagen anterior, cuando el valor de $p$ coincide estrechamente con $y$ (el objetivo real), la función de costo permanece relativamente pequeña, lo que indica que el modelo seleccionó con confianza la clase correcta. Por el contrario, si la predicción es incorrecta, la función de costo aumenta exponencialmente a medida que la confianza del modelo en la clase incorrecta crece.

En el contexto de la clasificación binaria con una función sigmoide, la función de costo utilizada se denomina específicamente pérdida de entropía cruzada binaria, que se mostró anteriormente. Es importante señalar que también existe una forma general conocida como pérdida de entropía cruzada (o entropía cruzada categórica) utilizada para problemas de clasificación multiclase.

La pérdida de entropía cruzada categórica para una sola instancia de entrenamiento se calcula de la siguiente manera:

Donde

• $C$ es el número de clases;
• $y_i$ es el valor objetivo real (1 si la clase es la clase correcta, 0 en caso contrario);
• $p_i$ es la probabilidad predicha de que la instancia pertenezca a la clase $i$.

Calculamos la función de pérdida para cada instancia de entrenamiento y tomamos el promedio. Este promedio se denomina función de costo. La regresión logística encuentra los parámetros $\beta$ que minimizan la función de costo.