パラメータの求め方

線形回帰はデータに最も適合する直線であることが分かりました。しかし、どの直線が正しいかをどのように判断するのでしょうか？

訓練データセットの各データポイントについて、予測値と実際の目標値との差を計算することができます。
これらの差は残差（または誤差）と呼ばれます。目標は残差をできるだけ小さくすることです。

最小二乗法

標準的な手法は最小二乗法（OLS）です。
各残差を二乗し（主に残差の符号を消すため）、それらをすべて合計します。
これをSSR（残差二乗和）と呼びます。SSRを最小化するパラメータを求めることが課題となります。

正規方程式

幸いなことに、すべての直線を試してSSRを計算する必要はありません。SSRを最小化するという課題には、計算コストの高くない数学的な解法があります。
この解法は正規方程式と呼ばれます。

この方程式は、SSRが最小となる直線のパラメータを与えます。
仕組みがよく分からなくても心配いりません。かなり複雑な数学です。しかし、パラメータを手計算する必要はありません。多くのライブラリで線形回帰がすでに実装されています。

クイズ