Wir wissen nun, dass die Lineare Regression einfach eine Linie ist, die die Daten am besten beschreibt. Aber wie erkennt man, welche die richtige ist?

Man kann die Differenz zwischen dem vorhergesagten Wert und dem tatsächlichen Zielwert für jeden Datenpunkt im Trainingsdatensatz berechnen.
Diese Differenzen werden als Residuen (oder Fehler) bezeichnet. Das Ziel ist es, die Residuen so klein wie möglich zu halten.

Methode der kleinsten Quadrate

Der Standardansatz ist die Methode der kleinsten Quadrate (OLS):
Jedes Residuum wird quadriert (hauptsächlich, um das Vorzeichen zu eliminieren), und alle werden aufsummiert.
Dies wird als SSR (Summe der quadrierten Residuen) bezeichnet. Die Aufgabe besteht darin, die Parameter zu finden, die die SSR minimieren.

Normalengleichung

Glücklicherweise müssen wir nicht alle Geraden ausprobieren und deren SSR berechnen. Die Aufgabe, die SSR zu minimieren, hat eine mathematische Lösung, die nicht sehr rechenintensiv ist.
Diese Lösung wird als Normalengleichung bezeichnet.

Diese Gleichung liefert uns die Parameter einer Geraden mit minimaler SSR.
Haben Sie nicht verstanden, wie das funktioniert? Kein Problem! Es handelt sich um ziemlich komplexe Mathematik. Aber Sie müssen die Parameter nicht selbst berechnen. Viele Bibliotheken haben die lineare Regression bereits implementiert.

Quiz