Resumo de Modelagem
Agora você sabe como construir um modelo, usar pipelines e ajustar hiperparâmetros. Você também aprendeu dois métodos de avaliação: divisão treino-teste e validação cruzada.
O próximo passo é combinar avaliação e ajuste utilizando GridSearchCV ou RandomizedSearchCV.
Como nosso conjunto de dados é pequeno, utilizaremos o GridSearchCV, mas tudo o que for dito a seguir também se aplica ao RandomizedSearchCV.
Como a validação cruzada é mais estável do que uma única divisão treino-teste, o objetivo é alcançar a maior pontuação de validação cruzada.
O GridSearchCV busca entre os hiperparâmetros e encontra aqueles que maximizam essa pontuação. A melhor pontuação é armazenada em .best_score_.
Hiperparâmetros que funcionam melhor para um conjunto de dados podem não se generalizar quando novos dados chegam.
Assim, .best_score_ pode ser maior do que o desempenho do modelo em dados totalmente inéditos.
Um fluxo de trabalho comum: dividir em conjuntos de treinamento e teste; executar validação cruzada no conjunto de treinamento para ajustar o modelo; depois avaliar o modelo otimizado no conjunto de teste para medir o desempenho no mundo real.
Para resumir:
- Pré-processar os dados;
- Dividir em conjuntos de treinamento e teste;
- Utilizar validação cruzada no conjunto de treinamento para encontrar a melhor configuração;
- Avaliar no conjunto de teste.
A terceira etapa geralmente envolve testar múltiplos algoritmos e ajustar seus hiperparâmetros para identificar a melhor opção. Para simplificar, apenas um único algoritmo foi utilizado neste curso.
A validação cruzada nem sempre é a melhor opção. Para conjuntos de dados grandes, calcular as pontuações de validação cruzada se torna caro, enquanto a divisão entre treino e teste se torna mais estável devido ao grande conjunto de teste.
Conjuntos de dados grandes são frequentemente divididos em conjuntos de treinamento, validação e teste. Os hiperparâmetros são escolhidos com base no desempenho no conjunto de validação. Por fim, o modelo selecionado é avaliado no conjunto de teste para verificar o quão bem ele generaliza.
O conjunto de dados dos pinguins é pequeno, com apenas 342 instâncias. Devido a esse tamanho limitado, a pontuação de validação cruzada será utilizada para avaliação no próximo capítulo.
Obrigado pelo seu feedback!
Pergunte à IA
Pergunte à IA
Pergunte o que quiser ou experimente uma das perguntas sugeridas para iniciar nosso bate-papo
What is the difference between GridSearchCV and RandomizedSearchCV?
Can you explain how cross-validation works in more detail?
Why is cross-validation preferred for small datasets?
Awesome!
Completion rate improved to 3.13Resumo de Modelagem
Deslize para mostrar o menu
Agora você sabe como construir um modelo, usar pipelines e ajustar hiperparâmetros. Você também aprendeu dois métodos de avaliação: divisão treino-teste e validação cruzada.
O próximo passo é combinar avaliação e ajuste utilizando GridSearchCV ou RandomizedSearchCV.
Como nosso conjunto de dados é pequeno, utilizaremos o GridSearchCV, mas tudo o que for dito a seguir também se aplica ao RandomizedSearchCV.
Como a validação cruzada é mais estável do que uma única divisão treino-teste, o objetivo é alcançar a maior pontuação de validação cruzada.
O GridSearchCV busca entre os hiperparâmetros e encontra aqueles que maximizam essa pontuação. A melhor pontuação é armazenada em .best_score_.
Hiperparâmetros que funcionam melhor para um conjunto de dados podem não se generalizar quando novos dados chegam.
Assim, .best_score_ pode ser maior do que o desempenho do modelo em dados totalmente inéditos.
Um fluxo de trabalho comum: dividir em conjuntos de treinamento e teste; executar validação cruzada no conjunto de treinamento para ajustar o modelo; depois avaliar o modelo otimizado no conjunto de teste para medir o desempenho no mundo real.
Para resumir:
- Pré-processar os dados;
- Dividir em conjuntos de treinamento e teste;
- Utilizar validação cruzada no conjunto de treinamento para encontrar a melhor configuração;
- Avaliar no conjunto de teste.
A terceira etapa geralmente envolve testar múltiplos algoritmos e ajustar seus hiperparâmetros para identificar a melhor opção. Para simplificar, apenas um único algoritmo foi utilizado neste curso.
A validação cruzada nem sempre é a melhor opção. Para conjuntos de dados grandes, calcular as pontuações de validação cruzada se torna caro, enquanto a divisão entre treino e teste se torna mais estável devido ao grande conjunto de teste.
Conjuntos de dados grandes são frequentemente divididos em conjuntos de treinamento, validação e teste. Os hiperparâmetros são escolhidos com base no desempenho no conjunto de validação. Por fim, o modelo selecionado é avaliado no conjunto de teste para verificar o quão bem ele generaliza.
O conjunto de dados dos pinguins é pequeno, com apenas 342 instâncias. Devido a esse tamanho limitado, a pontuação de validação cruzada será utilizada para avaliação no próximo capítulo.
Obrigado pelo seu feedback!
