二次回帰

線形回帰の問題点

多項式回帰を定義する前に、これまで学んだ線形回帰ではうまく対応できないケースについて見ていきます。

ここでは、単純な線形回帰モデルがうまく機能していないことが分かります。これは、データ点に直線を当てはめようとしているためです。しかし、放物線を当てはめる方が、これらの点にははるかに適していることが分かります。

二次回帰方程式

直線モデルを構築する際には、直線の方程式（y=ax+b）を使用しました。したがって、放物線モデルを構築するには、放物線の方程式が必要です。それが二次方程式：y=ax²+bx+c です。a、b、c を β に置き換えることで、二次回帰方程式 となります。

この方程式で表されるモデルは二次回帰と呼ばれる。これまでと同様に、データポイントに最適なパラメータを求める必要がある。

正規方程式と X̃

常に正規方程式が最適なパラメータの探索を担う。ただし、X̃ を正しく定義する必要がある。

重回帰分析のための X̃ 行列の構築方法はすでに学習済みです。多項式回帰における X̃ 行列も同様の方法で構築されます。x² を第2の特徴量と考えることができます。このため、X̃ に新しい列を追加する必要があります。この列には、前の列と同じ値を2乗したものが格納されます。

下の動画では、X̃ の構築方法を示しています。