Summary  
This chapter explains how to tune model hyperparameters by combining cross-validation with GridSearchCV or RandomizedSearchCV in a workflow that splits data into training, validation, and test sets to optimize and evaluate machine learning pipelines.

General domain of usage  
Machine learning model evaluation and selection

Agora você sabe como construir um **modelo**, usar **pipelines** e ajustar **hiperparâmetros**. Você também aprendeu dois métodos de avaliação: divisão treino-teste e validação cruzada.
O próximo passo é combinar avaliação e ajuste utilizando `GridSearchCV` ou `RandomizedSearchCV`.

Como nosso conjunto de dados é pequeno, usaremos o `GridSearchCV`, mas tudo o que for dito abaixo também se aplica ao `RandomizedSearchCV`.

Nota

Como a validação cruzada é mais estável do que uma única divisão treino-teste, o objetivo é alcançar a **maior pontuação de validação cruzada**.
O `GridSearchCV` busca entre os hiperparâmetros e encontra aqueles que maximizam essa pontuação. A melhor pontuação é armazenada em `.best_score_`.

Hiperparâmetros que funcionam melhor para um conjunto de dados podem **não se generalizar** quando novos dados chegam.
Assim, `.best_score_` pode ser maior do que o desempenho do modelo em dados **totalmente inéditos**.

Fluxo de trabalho comum: divisão em conjuntos de treino e teste; execução de validação cruzada no **conjunto de treino** para ajustar o modelo; em seguida, avaliação do modelo otimizado no **conjunto de teste** para medir o desempenho no mundo real.

Para resumir:

1. Pré-processamento dos dados;
2. Divisão em conjuntos de treinamento e teste;
3. Utilização de validação cruzada no conjunto de treinamento para encontrar a melhor configuração;
4. Avaliação no conjunto de teste.

O terceiro passo geralmente envolve testar **múltiplos algoritmos** e ajustar seus hiperparâmetros para identificar a melhor opção. Para simplificar, apenas um único algoritmo foi utilizado neste curso.


Estude Mais

A validação cruzada nem sempre é a melhor opção. Para conjuntos de dados grandes, o cálculo das pontuações de validação cruzada se torna caro, enquanto a divisão treino-teste se torna mais estável devido ao grande conjunto de teste.

Grandes conjuntos de dados são frequentemente divididos em conjuntos de **treinamento**, **validação** e **teste**.
Os hiperparâmetros são escolhidos com base no desempenho no **conjunto de validação**.
Por fim, o modelo selecionado é avaliado no **conjunto de teste** para verificar o quão bem ele generaliza.

O **conjunto de dados dos pinguins** é pequeno, com apenas 342 instâncias. Devido a esse tamanho limitado, a pontuação de validação cruzada será utilizada para avaliação no próximo capítulo.


Por que a validação cruzada é particularmente valiosa para ajuste de hiperparâmetros em conjuntos de dados menores, ao contrário de conjuntos maiores, onde divisões treino-teste podem ser preferidas?

O aprendizado de máquina está presente em todos os lugares atualmente. Quer aprender por conta própria? Este curso é uma introdução ao mundo do aprendizado de máquina para que você compreenda os conceitos básicos, trabalhe com o Scikit-learn – a biblioteca mais popular para ML – e desenvolva seu primeiro projeto de aprendizado de máquina.
Este curso é destinado a estudantes com conhecimentos básicos em Python, Pandas e Numpy.

Aprenda os conceitos de Machine Learning e o fluxo de trabalho de projetos de ML.

O pré-processamento é provavelmente a etapa mais importante de um projeto de ML. Este capítulo aborda as etapas de pré-processamento necessárias para praticamente qualquer conjunto de dados.

Um pipeline é uma maneira organizada de combinar todas as etapas de pré-processamento, bem como um modelo. Pipelines facilitam muito o treinamento e a utilização de um modelo.

A modelagem é a etapa mais divertida de um projeto de ML. Vamos aprender a construir, ajustar e avaliar o modelo!

Resumo de Modelagem