Summary  
This chapter explains how to estimate the optimal parameters of a linear regression model by minimizing the sum of squared residuals using the ordinary least squares method and solving the normal equation.

General domain of usage  
Machine learning predictive modeling

Wir wissen nun, dass die lineare Regression einfach eine Linie ist, die die Daten am besten beschreibt. Aber wie erkennt man, welche die richtige ist?

Man kann die Differenz zwischen dem vorhergesagten Wert und dem tatsächlichen Zielwert für jeden Datenpunkt im Trainingsdatensatz berechnen.   
Diese Differenzen werden als **Residuen** (oder **Fehler**) bezeichnet. Das Ziel ist es, die Residuen so klein wie möglich zu halten.   

## Methode der kleinsten Quadrate
Der Standardansatz ist die **Methode der kleinsten Quadrate** (**OLS**):   
Jede Residual berechnen, **quadrieren** (hauptsächlich, um das Vorzeichen zu eliminieren), und **alle aufsummieren**.  
Dies wird als **SSR** (**Summe der quadrierten Residuen**) bezeichnet. Ziel ist es, die Parameter zu finden, die die SSR minimieren.

## Normalengleichung
Glücklicherweise müssen wir nicht alle Geraden ausprobieren und die SSR für jede berechnen. Die Aufgabe, die SSR zu minimieren, hat eine mathematische Lösung, die nicht sehr rechenintensiv ist.  
Diese Lösung wird als **Normalengleichung** bezeichnet.

Diese Gleichung liefert die Parameter einer Geraden mit dem kleinsten SSR.  
Nicht verstanden, wie das funktioniert? Kein Problem! Es handelt sich um ziemlich komplexe Mathematik. Aber die Parameter müssen nicht von Hand berechnet werden. Viele Bibliotheken haben die lineare Regression bereits implementiert.


Betrachte das obige Bild. Welche Regressionsgerade ist besser?

Lineare Regression ist ein zentrales Konzept in der prädiktiven Analytik. Sie wird von Data Scientists, Datenanalysten und Statistikern häufig verwendet, da sie einfach zu erstellen und zu interpretieren ist, aber dennoch für viele Aufgaben ausreichend leistungsfähig bleibt.

Beginnen wir mit dem einfachsten Modell der linearen Regression. Sie lernen das Konzept der linearen Regression kennen und erfahren, wie Vorhersagen in Python getroffen werden.

Die meisten Vorhersageaufgaben in der Praxis beinhalten mehr als ein Merkmal. Sie lernen, wie man lineare Regression mit mehreren Merkmalen anwendet.

Eine Gerade beschreibt die Daten nicht immer ausreichend. Lernen Sie, wie ein komplexeres Modell für Vorhersagen erstellt werden kann. Dafür eignet sich die polynomiale Regression.

Nachdem Sie nun wissen, wie man verschiedene lineare Regressionsmodelle erstellt, benötigen Sie eine Methode, um das beste auszuwählen. Dies ist mithilfe von Metriken möglich. In diesem Abschnitt werden die am häufigsten verwendeten Metriken sowie die Herausforderungen bei deren Anwendung erläutert.

Bestimmung der Parameter

Methode der kleinsten Quadrate

Normalengleichung

Quiz

1. Betrachte das obige Bild. Welche Regressionsgerade ist besser?