Im vorherigen Kapitel haben wir die quadratische Regression untersucht, deren Graph eine Parabel ist. Ebenso könnten wir x³ zur Gleichung hinzufügen, um die kubische Regression zu erhalten, die einen komplexeren Graphen besitzt. Wir könnten auch x⁴ und so weiter hinzufügen.

Der Grad einer Polynomregression

Allgemein wird dies als Polynomgleichung bezeichnet und ist die Gleichung der Polynomregression. Die höchste Potenz von x definiert den Grad einer Polynomregression in der Gleichung. Hier ein Beispiel

Polynomregression n-ten Grades

Wenn n eine ganze Zahl größer als zwei ist, können wir die Gleichung einer Polynomregression n-ten Grades wie folgt aufschreiben:

Dabei gilt:

• $\beta_0, \beta_1, \beta_2, \dots, \beta_n$ – sind die Parameter des Modells;
• $y_{\text{pred}}$ – ist die Vorhersage des Zielwerts;
• $x$ – ist der Merkmalswert;
• $n$ – ist der Grad der Polynomregression.

Normalengleichung

Wie immer werden die Parameter mit der Normalengleichung bestimmt:

Dabei gilt:

• $\beta_0, \beta_1, \dots, \beta_n$ – sind die Parameter des Modells;

• $X$ – ist ein Array von Merkmalswerten aus dem Trainingsdatensatz;
• $X^k$ – ist die elementweise Potenz $k$ des $X$-Arrays;
• $y_{\text{true}}$ – ist ein Array von Zielwerten aus dem Trainingsdatensatz.

Polynomiale Regression mit mehreren Merkmalen

Zur Erzeugung noch komplexerer Formen kann die polynomiale Regression mit mehr als einem Merkmal verwendet werden. Bereits bei zwei Merkmalen besitzt die polynomiale Regression zweiten Grades eine recht umfangreiche Gleichung.

In den meisten Fällen ist ein derart komplexes Modell nicht erforderlich. Einfachere Modelle (wie die multiple lineare Regression) beschreiben die Daten in der Regel ausreichend gut, sind leichter zu interpretieren, zu visualisieren und weniger rechenintensiv.