Nous savons maintenant que la régression linéaire consiste simplement en une droite qui s'ajuste au mieux aux données. Mais comment déterminer laquelle est la bonne ?

Vous pouvez calculer la différence entre la valeur prédite et la valeur cible réelle pour chaque point de données dans l'ensemble d'entraînement.
Ces différences sont appelées résidus (ou erreurs). L'objectif est de rendre les résidus aussi petits que possible.

Moindres carrés ordinaires

L'approche par défaut est la méthode des moindres carrés ordinaires (OLS) :
Pour chaque résidu, élevez-le au carré (principalement pour éliminer le signe du résidu), puis faites la somme de tous.
Ceci est appelé SSR (somme des résidus au carré). La tâche consiste à trouver les paramètres qui minimisent la SSR.

Équation normale

Heureusement, il n'est pas nécessaire d'essayer toutes les droites et de calculer la SSR pour chacune d'elles. La tâche de minimisation de la SSR possède une solution mathématique qui n'est pas très coûteuse en calcul.
Cette solution est appelée équation normale.

Cette équation fournit les paramètres d'une droite avec la SSR minimale.
Vous n'avez pas compris comment cela fonctionne ? Pas d'inquiétude ! Les mathématiques sont assez complexes. Mais il n'est pas nécessaire de calculer les paramètres à la main. De nombreuses bibliothèques proposent déjà une implémentation de la régression linéaire.

Quiz