Le problème de la régression linéaire

Avant de définir la régression polynomiale, examinons le cas où la régression linéaire que nous avons étudiée précédemment ne donne pas de bons résultats.

Ici, on constate que notre modèle de régression linéaire simple donne de très mauvais résultats. Cela s'explique par le fait qu'il tente d'ajuster une droite aux points de données. Pourtant, il est évident qu'ajuster une parabole serait un choix bien plus approprié pour nos points.

Équation de la régression quadratique

Pour construire un modèle linéaire, nous avons utilisé l'équation d'une droite (y=ax+b). Ainsi, pour construire un modèle parabolique, nous avons besoin de l'équation d'une parabole. Il s'agit de l'équation quadratique : $y=ax²+bx+c$. Remplacer $a$, $b$ et $c$ par $β$ donne l'équation de la régression quadratique :

Où :

• $\beta_0, \beta_1, \beta_2$ – sont les paramètres du modèle ;
• $y_{\text{pred}}$ – est la prédiction de la variable cible ;
• $x$ – est la valeur de la caractéristique.

Le modèle décrit par cette équation est appelé Régression Quadratique. Comme précédemment, il suffit de déterminer les meilleurs paramètres pour nos points de données.

Équation Normale et X̃

Comme toujours, l’Équation Normale permet de trouver les meilleurs paramètres. Cependant, il est nécessaire de définir correctement X̃.

Nous savons déjà comment construire la matrice X̃ pour la Régression Linéaire Multiple. Il s’avère que la matrice X̃ pour la Régression Polynomiale est construite de manière similaire. On peut considérer x² comme une seconde caractéristique. Ainsi, il faut ajouter une nouvelle colonne correspondante à X̃. Celle-ci contiendra les mêmes valeurs que la colonne précédente, mais élevées au carré.

La vidéo ci-dessous montre comment construire la matrice X̃.