モデリングサマリー

モデルの構築、パイプラインの利用、ハイパーパラメータの調整方法を習得済み。また、評価手法としてトレイン・テスト分割と交差検証の2つを学習済み。 次のステップは、GridSearchCV または RandomizedSearchCV を用いて評価とチューニングを組み合わせること。

交差検証は単一のトレイン・テスト分割よりも安定しているため、目標は最高の交差検証スコアの達成。 GridSearchCV はハイパーパラメータ全体を探索し、このスコアを最大化するものを見つける。最良のスコアは .best_score_ に保存される。

一般的なワークフロー：トレーニングセットとテストセットに分割し、トレーニングセットでクロスバリデーションを実行してモデルを調整し、その後、最適化されたモデルをテストセットで評価して実際の性能を測定。

まとめ：

1. データの前処理；
2. トレーニングセットとテストセットに分割；
3. トレーニングセットでクロスバリデーションを用いて最適な構成を探索；
4. テストセットで評価。

クロスバリデーションは常に最適な選択肢とは限りません。大規模なデータセットでは、CVスコアの計算コストが高くなり、一方でテストセットが大きいため、トレイン・テスト分割の方が安定します。

大規模なデータセットは、トレーニング、バリデーション、テストセットに分割されることが多いです。 ハイパーパラメータはバリデーションセットのパフォーマンスに基づいて選択されます。 最終的に、選択したモデルはテストセットで評価され、汎化性能が確認されます。

penguins データセットは小規模で、インスタンス数はわずか342件です。このため、次の章では評価にクロスバリデーションスコアが使用されます。