Al construir un modelo, necesitamos una métrica que mida qué tan bien se ajusta a los datos. Una métrica proporciona un valor numérico que describe el rendimiento del modelo. En este capítulo, nos enfocamos en las más comunes.

Usaremos la siguiente notación:

Ya estamos familiarizados con una métrica, SSR (Suma de los Residuos al Cuadrado), que minimizamos para identificar los parámetros óptimos.
Usando nuestra notación, podemos expresar la fórmula de SSR de la siguiente manera:

o de manera equivalente:

Esta métrica solo funcionaba cuando los modelos utilizaban la misma cantidad de puntos de datos. No muestra cuán bien realmente funciona un modelo. Imagina dos modelos entrenados con conjuntos de datos de diferentes tamaños.

El primer modelo se ajusta mejor visualmente, pero tiene un SSR más alto porque tiene más puntos, por lo que la suma aumenta incluso con residuos promedio más pequeños. Utilizar el promedio de los residuos al cuadrado soluciona esto: el Error Cuadrático Medio (MSE).

MSE

o de manera equivalente:

Calcular el MSE usando NumPy:

mse = np.mean((y_true - y_pred)**2)

O Scikit-learn:

from sklearn.metrics import mean_squared_error
mse = mean_squared_error(y_true, y_pred)

El MSE está al cuadrado, lo que dificulta su interpretación. Si el MSE es 49 dólares², se desea el error en dólares. Tomar la raíz da 7 — el Error Cuadrático Medio de la Raíz (RMSE).

RMSE

Calcular RMSE usando:

rmse = np.sqrt(np.mean((y_true - y_pred)**2))

O Scikit-learn:

rmse = mean_squared_error(y_true, y_pred, squared=False)

MAE

En lugar de elevar al cuadrado los residuos, podemos tomar sus valores absolutos — esto da el Error Absoluto Medio (MAE).

o de manera equivalente

MAE se comporta como MSE pero trata los errores grandes de manera más suave. Debido a que utiliza valores absolutos, es más robusto frente a valores atípicos, lo que lo hace útil cuando los valores extremos sesgan el conjunto de datos.

Calcular MAE:

mae = np.mean(np.fabs(y_true - y_pred))

O bien:

from sklearn.metrics import mean_absolute_error
mae = mean_absolute_error(y_true, y_pred)

SSR nos ayudó a derivar la Ecuación Normal, pero se puede utilizar cualquier métrica al comparar modelos.

Ahora seguramente puedes decir que el segundo modelo es mejor ya que todas sus métricas son más bajas. Sin embargo, métricas más bajas no siempre significan que el modelo sea mejor.