パラメータの求め方

線形回帰は、データに最も適合する直線であることが分かりました。しかし、どの直線が正しいかはどのように判断するのでしょうか？

訓練データセットの各データポイントについて、予測値と実際のターゲット値との差を計算できます。
これらの差は残差（または誤差）と呼ばれます。目的は、残差をできるだけ小さくすることです。

最小二乗法

標準的な手法は最小二乗法（OLS）です。
各残差を二乗し（主に残差の符号を消すため）、すべて合計します。
これをSSR（残差平方和）と呼びます。SSRを最小化するパラメータを求めることが課題です。

正規方程式

幸いなことに、すべての直線を試してSSRを計算する必要はありません。SSRを最小化するという課題には、計算コストの高くない数学的な解法があります。
この解法は正規方程式と呼ばれます。

この方程式により、SSRが最小となる直線のパラメータを求めることができます。
仕組みが分からなくても心配ありません。かなり複雑な数学です。しかし、パラメータを手計算する必要はありません。多くのライブラリで線形回帰がすでに実装されています。

クイズ