Apprendre Régression Linéaire Avec N Variables

Équation de la régression linéaire à N variables

Comme nous l'avons vu, ajouter une nouvelle variable au modèle de régression linéaire revient simplement à l'ajouter, ainsi que son nouveau paramètre, à l'équation du modèle. Il est possible d'ajouter bien plus que deux paramètres de cette manière.

Remarque

Considérer n comme un nombre entier supérieur à deux.

y_{\text{pred}} = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \dots + \beta_n x_n

Où :

$\beta_0, \beta_1, \beta_2, \dots, \beta_n$ – paramètres du modèle ;
$y_{\text{pred}}$ – prédiction de la cible ;
$x_1$ – valeur de la première variable ;
$x_2$ – valeur de la deuxième variable ;
$\dots$
$x_n$ – valeur de la n-ième variable.

Équation normale

Le seul problème concerne la visualisation. Si le modèle comporte deux paramètres, il faut construire un graphique en 3D. Mais avec plus de deux paramètres, le graphique devient de dimension supérieure à trois. Or, nous vivons dans un monde à trois dimensions et il nous est impossible d'imaginer des graphiques de dimensions supérieures. Cependant, il n'est pas nécessaire de visualiser le résultat. Il suffit de déterminer les paramètres pour que le modèle fonctionne. Heureusement, il est relativement simple de les trouver. L'équation normale classique nous y aide :

\vec{\beta} = \begin{pmatrix} \beta_0 \\ \beta_1 \\ \dots \\ \beta_n \end{pmatrix} = (\tilde{X}^T \tilde{X})^{-1} \tilde{X}^T y_{\text{true}}

Où :

$\beta_0, \beta_1, \dots, \beta_n$ – paramètres du modèle ;
$\tilde{X}$ – matrice contenant des 1 en première colonne, et $X_1 - X_n$ dans les autres colonnes :

\tilde{X} = \begin{pmatrix} | & | & \dots & | \\ 1 & X_1 & \dots & X_n \\ | & | & \dots & | \end{pmatrix}

$X_k$ – tableau des valeurs de la k-ième variable dans l'ensemble d'entraînement ;
$y_{\text{true}}$ – tableau des valeurs cibles dans l'ensemble d'entraînement.

Matrice X̃

Remarquez que seule la matrice X̃ a changé. Vous pouvez considérer les colonnes de cette matrice comme étant chacune responsable de son paramètre β. La vidéo suivante explique ce que cela signifie.

La première colonne de 1 est nécessaire pour déterminer le paramètre β₀.

Tout était clair ?

Merci pour vos commentaires !

Section 1. Chapitre 6

Demandez à l'IA

Posez n'importe quelle question ou essayez l'une des questions suggérées pour commencer notre discussion

Glissez pour afficher le menu

Équation de la régression linéaire à N variables

Remarque

Considérer n comme un nombre entier supérieur à deux.

y_{\text{pred}} = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \dots + \beta_n x_n

Où :

$\beta_0, \beta_1, \beta_2, \dots, \beta_n$ – paramètres du modèle ;
$y_{\text{pred}}$ – prédiction de la cible ;
$x_1$ – valeur de la première variable ;
$x_2$ – valeur de la deuxième variable ;
$\dots$
$x_n$ – valeur de la n-ième variable.

Équation normale

\vec{\beta} = \begin{pmatrix} \beta_0 \\ \beta_1 \\ \dots \\ \beta_n \end{pmatrix} = (\tilde{X}^T \tilde{X})^{-1} \tilde{X}^T y_{\text{true}}

Où :

$\beta_0, \beta_1, \dots, \beta_n$ – paramètres du modèle ;
$\tilde{X}$ – matrice contenant des 1 en première colonne, et $X_1 - X_n$ dans les autres colonnes :

\tilde{X} = \begin{pmatrix} | & | & \dots & | \\ 1 & X_1 & \dots & X_n \\ | & | & \dots & | \end{pmatrix}

$X_k$ – tableau des valeurs de la k-ième variable dans l'ensemble d'entraînement ;
$y_{\text{true}}$ – tableau des valeurs cibles dans l'ensemble d'entraînement.

Matrice X̃

La première colonne de 1 est nécessaire pour déterminer le paramètre β₀.

Tout était clair ?

Merci pour vos commentaires !

Section 1. Chapitre 6