Resumen de Modelado
Ahora has aprendido cómo construir un modelo, integrarlo en una pipeline y ajustar hiperparámetros. También se cubrieron dos métodos de evaluación: la división en conjunto de entrenamiento y prueba, y la validación cruzada.
El siguiente paso es combinar la evaluación del modelo con el ajuste de hiperparámetros utilizando GridSearchCV o RandomizedSearchCV.
Dado que nuestro conjunto de datos es pequeño, utilizaremos GridSearchCV, pero todo lo mencionado a continuación también aplica para RandomizedSearchCV.
El objetivo es obtener la mayor puntuación de validación cruzada en el conjunto de datos, ya que la validación cruzada es más estable y menos dependiente de cómo se divide la información que el enfoque de entrenamiento-prueba.
GridSearchCV está diseñado específicamente para este propósito: identifica los hiperparámetros que logran la mejor puntuación de validación cruzada, produciendo un modelo ajustado que rinde de manera óptima en los datos de entrenamiento.
El atributo .best_score_ almacena la puntuación de validación cruzada más alta encontrada durante la búsqueda.
Los mejores hiperparámetros para un conjunto de datos específico pueden no ser los mejores en general. Si se agregan nuevos datos, los hiperparámetros óptimos pueden cambiar.
En consecuencia, el .best_score_ alcanzado puede ser mayor que el rendimiento en datos completamente no vistos, ya que los hiperparámetros podrían no generalizar tan bien más allá del conjunto de entrenamiento.
Típicamente, el conjunto de datos se divide primero en conjuntos de entrenamiento y prueba. Luego, se aplica validación cruzada al conjunto de entrenamiento para ajustar el modelo e identificar la mejor configuración. Finalmente, el modelo optimizado se evalúa en el conjunto de prueba, que contiene datos completamente no vistos, para evaluar su rendimiento en el mundo real.
En resumen, el flujo de trabajo completo consiste en:
- Preprocesamiento de los datos;
- División del conjunto de datos en conjuntos de entrenamiento y prueba;
- Uso de validación cruzada en el conjunto de entrenamiento para encontrar el modelo con mejor desempeño;
- Evaluación de ese modelo en el conjunto de prueba.
El tercer paso suele implicar probar múltiples algoritmos y ajustar sus hiperparámetros para identificar la mejor opción. Para simplificar, en este curso solo se utilizó un único algoritmo.
Antes de pasar al desafío final, es importante señalar que la validación cruzada no es el único método para ajustar modelos. A medida que los conjuntos de datos crecen, calcular los puntajes de validación cruzada se vuelve más lento, y la división tradicional entre entrenamiento y prueba ofrece mayor estabilidad debido al tamaño incrementado del conjunto de prueba.
En consecuencia, los conjuntos de datos grandes suelen dividirse en tres conjuntos: un conjunto de entrenamiento, un conjunto de validación y un conjunto de prueba. El modelo se entrena con el conjunto de entrenamiento y se evalúa con el conjunto de validación para seleccionar el modelo o los hiperparámetros que mejor funcionen.
Esta selección utiliza los puntajes del conjunto de validación en lugar de los puntajes de validación cruzada. Finalmente, el modelo elegido se evalúa en el conjunto de prueba, que consiste en datos completamente no vistos, para verificar su rendimiento.
El conjunto de datos de pingüinos es pequeño, con solo 342 instancias. Debido a este tamaño limitado, en el próximo capítulo se utilizará la puntuación de validación cruzada para la evaluación.
¡Gracias por tus comentarios!
Pregunte a AI
Pregunte a AI
Pregunte lo que quiera o pruebe una de las preguntas sugeridas para comenzar nuestra charla
Awesome!
Completion rate improved to 3.13Resumen de Modelado
Desliza para mostrar el menú
Ahora has aprendido cómo construir un modelo, integrarlo en una pipeline y ajustar hiperparámetros. También se cubrieron dos métodos de evaluación: la división en conjunto de entrenamiento y prueba, y la validación cruzada.
El siguiente paso es combinar la evaluación del modelo con el ajuste de hiperparámetros utilizando GridSearchCV o RandomizedSearchCV.
Dado que nuestro conjunto de datos es pequeño, utilizaremos GridSearchCV, pero todo lo mencionado a continuación también aplica para RandomizedSearchCV.
El objetivo es obtener la mayor puntuación de validación cruzada en el conjunto de datos, ya que la validación cruzada es más estable y menos dependiente de cómo se divide la información que el enfoque de entrenamiento-prueba.
GridSearchCV está diseñado específicamente para este propósito: identifica los hiperparámetros que logran la mejor puntuación de validación cruzada, produciendo un modelo ajustado que rinde de manera óptima en los datos de entrenamiento.
El atributo .best_score_ almacena la puntuación de validación cruzada más alta encontrada durante la búsqueda.
Los mejores hiperparámetros para un conjunto de datos específico pueden no ser los mejores en general. Si se agregan nuevos datos, los hiperparámetros óptimos pueden cambiar.
En consecuencia, el .best_score_ alcanzado puede ser mayor que el rendimiento en datos completamente no vistos, ya que los hiperparámetros podrían no generalizar tan bien más allá del conjunto de entrenamiento.
Típicamente, el conjunto de datos se divide primero en conjuntos de entrenamiento y prueba. Luego, se aplica validación cruzada al conjunto de entrenamiento para ajustar el modelo e identificar la mejor configuración. Finalmente, el modelo optimizado se evalúa en el conjunto de prueba, que contiene datos completamente no vistos, para evaluar su rendimiento en el mundo real.
En resumen, el flujo de trabajo completo consiste en:
- Preprocesamiento de los datos;
- División del conjunto de datos en conjuntos de entrenamiento y prueba;
- Uso de validación cruzada en el conjunto de entrenamiento para encontrar el modelo con mejor desempeño;
- Evaluación de ese modelo en el conjunto de prueba.
El tercer paso suele implicar probar múltiples algoritmos y ajustar sus hiperparámetros para identificar la mejor opción. Para simplificar, en este curso solo se utilizó un único algoritmo.
Antes de pasar al desafío final, es importante señalar que la validación cruzada no es el único método para ajustar modelos. A medida que los conjuntos de datos crecen, calcular los puntajes de validación cruzada se vuelve más lento, y la división tradicional entre entrenamiento y prueba ofrece mayor estabilidad debido al tamaño incrementado del conjunto de prueba.
En consecuencia, los conjuntos de datos grandes suelen dividirse en tres conjuntos: un conjunto de entrenamiento, un conjunto de validación y un conjunto de prueba. El modelo se entrena con el conjunto de entrenamiento y se evalúa con el conjunto de validación para seleccionar el modelo o los hiperparámetros que mejor funcionen.
Esta selección utiliza los puntajes del conjunto de validación en lugar de los puntajes de validación cruzada. Finalmente, el modelo elegido se evalúa en el conjunto de prueba, que consiste en datos completamente no vistos, para verificar su rendimiento.
El conjunto de datos de pingüinos es pequeño, con solo 342 instancias. Debido a este tamaño limitado, en el próximo capítulo se utilizará la puntuación de validación cruzada para la evaluación.
¡Gracias por tus comentarios!
