モデリングのまとめ

モデルの構築、パイプラインの利用、ハイパーパラメータの調整方法を習得。さらに、評価手法としてトレイン・テスト分割と交差検証の2つを学習。 次のステップは、GridSearchCV または RandomizedSearchCV を用いて評価とチューニングを組み合わせること。

交差検証は単一のトレイン・テスト分割よりも安定しているため、目標は最高の交差検証スコアの達成。 GridSearchCV はハイパーパラメータ全体を探索し、このスコアを最大化するものを見つける。最良のスコアは .best_score_ に保存。

一般的なワークフロー：データをトレーニングセットとテストセットに分割し、トレーニングセットでクロスバリデーションを実行してモデルを調整し、その後、最適化されたモデルをテストセットで評価して実際の性能を測定します。

まとめ：

1. データの前処理；
2. トレーニングセットとテストセットへの分割；
3. トレーニングセットで交差検証を行い、最適な構成を見つける；
4. テストセットで評価。

交差検証は常に最適な選択肢とは限りません。大規模なデータセットでは、CVスコアの計算コストが高くなり、テストセットが大きいことでトレイン・テスト分割の方が安定します。

大規模なデータセットは、一般的にトレーニングセット、バリデーションセット、テストセットに分割。 ハイパーパラメータはバリデーションセットでの性能に基づいて選択。 最終的に、選択したモデルはテストセットで評価され、汎化性能を確認。

penguins datasetは342件のみの小規模なデータセット。このため、次の章では評価にクロスバリデーションスコアを使用。