Nous savons maintenant que la régression linéaire consiste simplement en une droite qui s'ajuste au mieux aux données. Mais comment déterminer laquelle est la bonne ?

Il est possible de calculer la différence entre la valeur prédite et la valeur cible réelle pour chaque point de données dans l'ensemble d'entraînement.
Ces différences sont appelées résidus (ou erreurs). L'objectif est de rendre les résidus aussi petits que possible.

Moindres carrés ordinaires

L'approche par défaut est la méthode des moindres carrés ordinaires (OLS) :
Prendre chaque résidu, l'élever au carré (principalement pour éliminer le signe du résidu), puis les additionner tous.
Ceci est appelé SSR (somme des résidus au carré). La tâche consiste à trouver les paramètres qui minimisent la SSR.

Équation normale

Heureusement, il n'est pas nécessaire d'essayer toutes les droites et de calculer la SSR pour chacune d'elles. La tâche de minimiser la SSR possède une solution mathématique qui n'est pas très coûteuse en calcul.
Cette solution s'appelle l'équation normale.

Cette équation nous donne les paramètres d'une droite avec la SSR minimale.
Vous n'avez pas compris comment cela fonctionne ? Pas d'inquiétude ! Les mathématiques sont assez complexes. Mais il n'est pas nécessaire de calculer les paramètres à la main. De nombreuses bibliothèques ont déjà implémenté la régression linéaire.

Quiz