Apprendre Régression Polynomiale

Dans le chapitre précédent, nous avons étudié la régression quadratique, dont le graphique est une parabole. De la même manière, il est possible d’ajouter le x³ à l’équation pour obtenir la régression cubique, qui présente un graphique plus complexe. On peut également ajouter x⁴, et ainsi de suite.

Degré d'une régression polynomiale

De manière générale, il s'agit d'une équation polynomiale, qui constitue l’équation de la régression polynomiale. La puissance la plus élevée de x définit le degré d'une régression polynomiale dans l’équation. Voici un exemple

Régression polynomiale de degré n

En considérant n comme un nombre entier supérieur à deux, il est possible d’écrire l’équation d’une régression polynomiale de degré n.

y_{\text{pred}} = \beta_0 + \beta_1 x + \beta_2 x^2 + \dots + \beta_n x^n

Où :

$\beta_0, \beta_1, \beta_2, \dots, \beta_n$ – paramètres du modèle ;
$y_{\text{pred}}$ – prédiction de la cible ;
$x$ – valeur de la caractéristique ;
$n$ – degré de la régression polynomiale.

Équation normale

Et comme toujours, les paramètres sont déterminés à l'aide de l'équation normale :

\vec{\beta} = \begin{pmatrix} \beta_0 \\ \beta_1 \\ \dots \\ \beta_n \end{pmatrix} = (\tilde{X}^T \tilde{X})^{-1} \tilde{X}^T y_{\text{true}}

Où :

$\beta_0, \beta_1, \dots, \beta_n$ – paramètres du modèle ;

\tilde{X} = \begin{pmatrix} | & | & | & \dots & | \\ 1 & X & X^2 & \dots & X^n \\ | & | & | & \dots & | \end{pmatrix}

$X$ – tableau des valeurs des variables explicatives issues de l'ensemble d'entraînement ;
$X^k$ – puissance élément par élément de $k$ du tableau $X$ ;
$y_{\text{true}}$ – tableau des valeurs cibles issues de l'ensemble d'entraînement.

Régression polynomiale avec plusieurs variables explicatives

Pour créer des formes encore plus complexes, il est possible d'utiliser la régression polynomiale avec plus d'une variable explicative. Mais même avec deux variables, la régression polynomiale de degré 2 possède déjà une équation assez longue.

La plupart du temps, un modèle aussi complexe ne sera pas nécessaire. Des modèles plus simples (comme la régression linéaire multiple) décrivent généralement suffisamment bien les données, sont plus faciles à interpréter, à visualiser et sont moins coûteux en calcul.

Tout était clair ?

Merci pour vos commentaires !

Section 1. Chapitre 11

Demandez à l'IA

Posez n'importe quelle question ou essayez l'une des questions suggérées pour commencer notre discussion

Glissez pour afficher le menu

Degré d'une régression polynomiale

Régression polynomiale de degré n

En considérant n comme un nombre entier supérieur à deux, il est possible d’écrire l’équation d’une régression polynomiale de degré n.

y_{\text{pred}} = \beta_0 + \beta_1 x + \beta_2 x^2 + \dots + \beta_n x^n

Où :

$\beta_0, \beta_1, \beta_2, \dots, \beta_n$ – paramètres du modèle ;
$y_{\text{pred}}$ – prédiction de la cible ;
$x$ – valeur de la caractéristique ;
$n$ – degré de la régression polynomiale.

Équation normale

Et comme toujours, les paramètres sont déterminés à l'aide de l'équation normale :

\vec{\beta} = \begin{pmatrix} \beta_0 \\ \beta_1 \\ \dots \\ \beta_n \end{pmatrix} = (\tilde{X}^T \tilde{X})^{-1} \tilde{X}^T y_{\text{true}}

Où :

$\beta_0, \beta_1, \dots, \beta_n$ – paramètres du modèle ;

\tilde{X} = \begin{pmatrix} | & | & | & \dots & | \\ 1 & X & X^2 & \dots & X^n \\ | & | & | & \dots & | \end{pmatrix}

$X$ – tableau des valeurs des variables explicatives issues de l'ensemble d'entraînement ;
$X^k$ – puissance élément par élément de $k$ du tableau $X$ ;
$y_{\text{true}}$ – tableau des valeurs cibles issues de l'ensemble d'entraînement.

Régression polynomiale avec plusieurs variables explicatives

Tout était clair ?

Merci pour vos commentaires !

Section 1. Chapitre 11