Summary  
This chapter demonstrates how to detect and quantify missing values in a pandas DataFrame using methods like .info() and .isna(), filter rows containing NaNs, and remove rows based on a missing-data threshold.  

General domain of usage  
Data preprocessing for machine learning

欠損値を扱える機械学習モデルは限られているため、データセットに欠損が残っていないか確認する必要があります。欠損値が存在する場合、次の2つの方法で対応できます。

* 欠損値を含む行を削除する方法
* 空のセルに代替値を補完する方法（**インピュテーション**と呼ばれる処理）


## 欠損値の特定

データセットの概要情報を出力し、欠損値の有無を確認するには、DataFrameの`.info()`メソッドを使用します。

import pandas as pd

df = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/a65bbc96-309e-4df9-a790-a1eb8c815a1c/penguins.csv')

print(df.info())

データセットには344件のエントリーがありますが、`'culmen_depth_mm'`、`'flipper_length_mm'`、`'body_mass_g'`、および`'sex'`の各列には344未満の非NULL値が含まれており、欠損データが存在することを示しています。


注記

**各列の欠損値の数**を特定するには、`.isna()`メソッドを適用し、その後に`.sum()`を使用します。


import pandas as pd

df = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/a65bbc96-309e-4df9-a790-a1eb8c815a1c/penguins.csv')

print(df.isna().sum())

欠損値を含む行は、次の方法で表示可能：
`df[df.isna().any(axis=1)]`


import pandas as pd

df = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/a65bbc96-309e-4df9-a790-a1eb8c815a1c/penguins.csv')

print(df[df.isna().any(axis=1)])

## 行の削除

最初と最後の行にはターゲット（`'species'`）および`'island'`の値のみが含まれており、有用な情報がほとんどありません。これらの行は、`NaN`値が2つ未満の行のみを保持し、それを`df`に再代入することで削除できます。


import pandas as pd

df = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/a65bbc96-309e-4df9-a790-a1eb8c815a1c/penguins.csv')

df = df[df.isna().sum(axis=1) < 2]
print(df.head(8))

一方、残りの行には有用な情報が含まれており、`NaN`値は`'sex'`列のみに現れます。これらの行を削除する代わりに、欠損値を**補完**することができます。一般的な方法としては、`SimpleImputer`トランスフォーマーを使用します。これは次の章で説明します。

機械学習は今やあらゆる場所で利用されています。自分で学びたいと思いませんか？このコースは、機械学習の世界への入門として、基本的な概念の習得、最も人気のあるMLライブラリであるScikit-learnの操作、そして最初の機械学習プロジェクトの構築を学ぶためのものです。
このコースは、Python、Pandas、Numpyの基礎知識を持つ学生を対象としています。

機械学習の概念とMLプロジェクトのワークフローについて学習します。

前処理は、MLプロジェクトにおいて最も重要な段階の一つです。本章では、ほぼすべてのデータセットに必要な前処理手順について解説します。

パイプラインは、すべての前処理ステップとモデルを組み合わせるための便利な方法です。パイプラインを使用することで、モデルの学習や利用がはるかに簡単になります。

モデリングはMLプロジェクトの中で最も楽しい段階です。モデルの構築、チューニング、評価方法を学びましょう。

欠損値の処理

欠損値の特定

行の削除