Wir wissen nun, dass die Lineare Regression lediglich eine Gerade ist, die die Daten am besten beschreibt. Aber wie lässt sich bestimmen, welche Gerade die richtige ist?

Man kann die Differenz zwischen dem vorhergesagten Wert und dem tatsächlichen Zielwert für jeden Datenpunkt im Trainingsdatensatz berechnen.
Diese Differenzen werden als Residuen (oder Fehler) bezeichnet. Das Ziel besteht darin, die Residuen so klein wie möglich zu halten.

Methode der kleinsten Quadrate

Der Standardansatz ist die Methode der kleinsten Quadrate (OLS):
Jedes Residuum wird quadriert (hauptsächlich, um das Vorzeichen zu eliminieren) und alle quadrierten Werte werden aufsummiert.
Dies wird als SSR (Summe der quadrierten Residuen) bezeichnet. Die Aufgabe besteht darin, die Parameter zu finden, die die SSR minimieren.

Normalengleichung

Glücklicherweise müssen nicht alle Geraden ausprobiert und deren SSR berechnet werden. Die Aufgabe, die SSR zu minimieren, hat eine mathematische Lösung, die rechnerisch nicht sehr aufwendig ist.
Diese Lösung wird als Normalengleichung bezeichnet.

Diese Gleichung liefert die Parameter einer Geraden mit minimaler SSR.
Nicht verstanden, wie das funktioniert? Kein Problem! Es handelt sich um ziemlich komplexe Mathematik. Die Parameter müssen jedoch nicht von Hand berechnet werden. Viele Bibliotheken haben die lineare Regression bereits implementiert.

Quiz