Das Problem mit der linearen Regression

Bevor wir die Polynomregression definieren, betrachten wir einen Fall, in dem die zuvor behandelte lineare Regression nicht gut funktioniert.

Hier ist zu erkennen, dass unser einfaches lineares Regressionsmodell sehr schlecht abschneidet. Das liegt daran, dass es versucht, eine Gerade an die Datenpunkte anzupassen. Es ist jedoch ersichtlich, dass das Anpassen einer Parabel für unsere Punkte eine deutlich bessere Wahl wäre.

Quadratische Regressionsgleichung

Für die Erstellung eines Geradenmodells wurde die Gleichung einer Geraden (y=ax+b) verwendet. Um ein parabolisches Modell zu erstellen, benötigen wir die Gleichung einer Parabel. Das ist die quadratische Gleichung: $y=ax²+bx+c$. Wenn wir $a$, $b$ und $c$ durch $β$ ersetzen, erhalten wir die quadratische Regressionsgleichung:

Dabei gilt:

• $\beta_0, \beta_1, \beta_2$ – sind die Parameter des Modells;
• $y_{\text{pred}}$ – ist die Vorhersage der Zielgröße;
• $x$ – ist der Merkmalswert.

Das durch diese Gleichung beschriebene Modell wird als Quadratische Regression bezeichnet. Wie zuvor müssen lediglich die optimalen Parameter für unsere Datenpunkte gefunden werden.

Normalengleichung und X̃

Wie immer übernimmt die Normalengleichung das Finden der optimalen Parameter. Allerdings muss die X̃ korrekt definiert werden.

Wir wissen bereits, wie die X̃-Matrix für die Multiple Lineare Regression aufgebaut wird. Es zeigt sich, dass die X̃-Matrix für die Polynomiale Regression ähnlich konstruiert wird. x² kann als zweites Merkmal betrachtet werden. Daher muss eine entsprechende neue Spalte zur X̃ hinzugefügt werden. Diese enthält die gleichen Werte wie die vorherige Spalte, jedoch quadriert.

Das folgende Video zeigt, wie die X̃ aufgebaut wird.