Modeling Summary

Ahora sabes cómo construir un modelo, utilizar pipelines y ajustar hiperparámetros. También aprendiste dos métodos de evaluación: división de entrenamiento-prueba y validación cruzada. El siguiente paso es combinar la evaluación y el ajuste utilizando GridSearchCV o RandomizedSearchCV.

Como la validación cruzada es más estable que una sola división de entrenamiento-prueba, el objetivo es lograr la mayor puntuación de validación cruzada. GridSearchCV busca entre los hiperparámetros y encuentra aquellos que maximizan esta puntuación. La mejor puntuación se almacena en .best_score_.

Flujo de trabajo común: dividir en conjuntos de entrenamiento y prueba; ejecutar validación cruzada en el conjunto de entrenamiento para ajustar el modelo; luego evaluar el modelo optimizado en el conjunto de prueba para medir el rendimiento en el mundo real.

Para resumir:

1. Preprocesamiento de los datos;
2. División en conjuntos de entrenamiento y prueba;
3. Uso de validación cruzada en el conjunto de entrenamiento para encontrar la mejor configuración;
4. Evaluación en el conjunto de prueba.

La validación cruzada no siempre es la mejor opción. Para conjuntos de datos grandes, calcular las puntuaciones de validación cruzada resulta costoso, mientras que una división entrenamiento-prueba se vuelve más estable gracias al gran tamaño del conjunto de prueba.

Los conjuntos de datos grandes suelen dividirse en conjuntos de entrenamiento, validación y prueba. Los hiperparámetros se seleccionan en función del rendimiento en el conjunto de validación. Finalmente, el modelo seleccionado se evalúa en el conjunto de prueba para verificar qué tan bien generaliza.

El conjunto de datos de pingüinos es pequeño, con solo 342 instancias. Debido a este tamaño limitado, en el próximo capítulo se utilizará la puntuación de validación cruzada para la evaluación.