Wir wissen nun, dass die Lineare Regression einfach eine Linie ist, die die Daten am besten beschreibt. Aber wie erkennt man, welche die richtige ist?

Man kann die Differenz zwischen dem vorhergesagten Wert und dem tatsächlichen Zielwert für jeden Datenpunkt im Trainingsdatensatz berechnen.
Diese Differenzen werden als Residuen (oder Fehler) bezeichnet. Das Ziel ist es, die Residuen so klein wie möglich zu halten.

Methode der kleinsten Quadrate

Der Standardansatz ist die Methode der kleinsten Quadrate (OLS):
Jedes Residuum wird quadriert (hauptsächlich, um das Vorzeichen zu eliminieren), und alle werden aufsummiert.
Dies wird als SSR (Summe der quadrierten Residuen) bezeichnet. Die Aufgabe besteht darin, die Parameter zu finden, die die SSR minimieren.

Normalengleichung

Glücklicherweise müssen wir nicht alle Geraden ausprobieren und deren SSR berechnen. Die Aufgabe, das SSR zu minimieren, hat eine mathematische Lösung, die nicht sehr rechenintensiv ist.
Diese Lösung wird als Normalengleichung bezeichnet.

Dabei gilt:

• $\beta_0, \beta_1, \dots, \beta_n$ – sind die Parameter des Modells;

• $X$ – ist ein Array von Merkmalswerten aus dem Trainingsdatensatz;
• $X^k$ – ist die elementweise Potenz $k$ des $X$-Arrays;
• $y_{\text{true}}$ – ist ein Array von Zielwerten aus dem Trainingsdatensatz.

Diese Gleichung liefert die Parameter einer Geraden mit dem geringsten SSR.
Nicht verstanden, wie das funktioniert? Kein Problem! Es handelt sich um ziemlich komplexe Mathematik. Die Parameter müssen jedoch nicht von Hand berechnet werden. Viele Bibliotheken haben die lineare Regression bereits implementiert.

Quiz