二次回帰

線形回帰の問題点

多項式回帰を定義する前に、これまで学習した線形回帰ではうまく対応できないケースについて見ていきます。

ここでは、単純な線形回帰モデルがうまく機能していないことがわかります。これは、データ点に直線を当てはめようとしているためです。しかし、放物線を当てはめる方がデータ点により適していることがわかります。

二次回帰方程式

直線モデルを構築するには、直線の方程式（y=ax+b）を使用しました。したがって、放物線モデルを構築するには、放物線の方程式が必要です。それが二次方程式：y=ax²+bx+c です。a、b、c を β に変更すると、二次回帰方程式 になります。

この方程式で表されるモデルは二次回帰と呼ばれます。これまでと同様に、データポイントに最適なパラメータを見つける必要があります。

正規方程式とX̃

これまで通り、正規方程式は最適なパラメータの探索を担います。ただし、X̃を正しく定義する必要があります。

X̃行列の構築方法は、重回帰分析ですでに学習しています。実は、多項式回帰におけるX̃行列も同様に構築されます。x²を2つ目の特徴量と考えることができます。このため、X̃に新しい列を追加し、その列には前の列の値を2乗したものを格納します。

下の動画では、X̃の構築方法を示しています。