Al construir un modelo, necesitamos una métrica que mida qué tan bien se ajusta a los datos. Una métrica proporciona un valor numérico que describe el rendimiento del modelo. En este capítulo, nos enfocamos en las más comunes.

Utilizaremos la siguiente notación:

Ya estamos familiarizados con una métrica, SSR (Suma de los Residuos Cuadrados), que minimizamos para identificar los parámetros óptimos.
Usando nuestra notación, podemos expresar la fórmula de SSR de la siguiente manera:

o igualmente:

Esta métrica solo funcionaba cuando los modelos utilizaban la misma cantidad de puntos de datos. No muestra cuán bien realmente funciona un modelo. Imagine dos modelos entrenados con conjuntos de datos de diferentes tamaños.

El primer modelo se ajusta mejor visualmente pero tiene un SSR más alto porque tiene más puntos, por lo que la suma aumenta incluso con residuos promedio más pequeños. Utilizar el promedio de los residuos al cuadrado soluciona esto — el Error Cuadrático Medio (MSE).

MSE

o de igual manera:

Calcular el MSE usando NumPy:

mse = np.mean((y_true - y_pred)**2)

O Scikit-learn:

from sklearn.metrics import mean_squared_error
mse = mean_squared_error(y_true, y_pred)

El MSE está al cuadrado, lo que dificulta su interpretación. Si el MSE es 49 dólares², se desea el error en dólares. Tomar la raíz da 7 — el Error Cuadrático Medio de la Raíz (RMSE).

RMSE

Calcular RMSE utilizando:

rmse = np.sqrt(np.mean((y_true - y_pred)**2))

O con Scikit-learn:

rmse = mean_squared_error(y_true, y_pred, squared=False)

MAE

En lugar de elevar al cuadrado los residuos, se pueden tomar sus valores absolutos — esto da el Error Absoluto Medio (MAE).

o igualmente

MAE se comporta de manera similar a MSE pero trata los errores grandes de forma más suave. Debido a que utiliza valores absolutos, es más robusto frente a valores atípicos, lo que lo hace útil cuando los valores extremos sesgan el conjunto de datos.

Calcular MAE:

mae = np.mean(np.fabs(y_true - y_pred))

O:

from sklearn.metrics import mean_absolute_error
mae = mean_absolute_error(y_true, y_pred)

SSR nos ayudó a derivar la Ecuación Normal, pero cualquier métrica puede utilizarse al comparar modelos.

Ahora seguramente puedes afirmar que el segundo modelo es mejor ya que todas sus métricas son más bajas. Sin embargo, métricas más bajas no siempre significan que el modelo sea mejor.