Summary  
This chapter explains how logistic regression’s decision boundary reflects linear separability and shows how to use polynomial feature expansion to enable logistic regression to capture non-linear relationships.

General domain of usage  
Classification in machine learning

ロジスティック回帰の結果をプロット。次の2つの特徴量を持つ例を考察。

ロジスティック回帰を構築した後、**決定境界**をプロット可能。これは各クラスの領域を示し、新しいインスタンスがそのクラスとして予測される範囲を表現。例えば、上記データに適用したロジスティック回帰の決定境界は以下の通り。

この線が2つのクラスを完全に分離していることが確認可能。このような場合、データセットは**線形分離可能**と呼称。ただし、常にそうとは限らない。もしデータセットが次のような場合はどうなるか。

上図は、少し異なるデータセットに対する決定境界です。ここではデータが**線形分離不可能**であるため、ロジスティック回帰による予測は完全ではありません。残念ながら、デフォルトではロジスティック回帰は**より複雑な決定境界を予測できません**。したがって、これが得られる最良の予測となります。

ただし、ロジスティック回帰は線形回帰から派生しており、モデルが単純すぎるという問題に対する解決策があります。この解決策が**多項式回帰**であり、その式を用いて$$z$$を計算することで、より複雑な決定境界の形状を得ることができます：
$$
z = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \beta_3 x_1^2 + \beta_4 x_1 x_2 + \beta_5 x_2^2
$$

多項式回帰と同様に、`PolynomialFeatures`トランスフォーマーを使って特徴量に多項式項を追加できます。これにより、モデルがより複雑なパターンを学習できるようになります。

```python
from sklearn.preprocessing import PolynomialFeatures

X_poly = PolynomialFeatures(2, include_bias=False).fit_transform(X)
```

このコードは、元の入力特徴量`X`に対して以下を追加します：
- **二乗項**（例：$$x^2$$）
- **交互作用項**（例：$$x_1 \cdot x_2$$、複数特徴量がある場合）

例えば、`X`がもともと2つの特徴量$$[x_1, x_2]$$を持つ場合、`PolynomialFeatures(2, include_bias=False)`を適用すると、$$[x_1, x_{2}, x_{1}\\^{2}
, x_{1} x_{2}, x_{2}\\^{2}]$$となります。

これにより、**ロジスティック回帰**のようなモデルが**非線形な関係**を捉え、より柔軟で曲線的な決定境界を生成できるようになります。ただし、多項式の次数を上げすぎると、訓練データに過剰適合してしまう（**過学習**）問題が発生します。そのため、通常はまず低い次数から試し、モデルを慎重に評価します。

ロジスティック回帰で多項式特徴量が必要となる理由は何ですか？

Pythonを使用したカテゴリカルな結果を予測するための分類手法を紹介します。分類モデルの構築、トレーニング、評価、決定境界の解釈、一般的なアルゴリズムの実世界データセットへの適用に焦点を当てます。
