Nous savons maintenant que la régression linéaire consiste simplement en une droite qui s'ajuste au mieux aux données. Mais comment déterminer laquelle est la bonne ?

Vous pouvez calculer la différence entre la valeur prédite et la valeur cible réelle pour chaque point de données dans l'ensemble d'entraînement.
Ces différences sont appelées résidus (ou erreurs). L'objectif est de rendre les résidus aussi petits que possible.

Moindres carrés ordinaires

L'approche par défaut est la méthode des moindres carrés ordinaires (OLS) :
Prendre chaque résidu, l'élever au carré (principalement pour éliminer le signe d'un résidu), puis faire la somme de tous.
Ceci est appelé SSR (somme des résidus au carré). L'objectif est de trouver les paramètres qui minimisent le SSR.

Équation normale

Heureusement, il n'est pas nécessaire d'essayer toutes les droites et de calculer le SSR pour chacune. La tâche de minimisation du SSR possède une solution mathématique qui n'est pas très coûteuse en calcul.
Cette solution est appelée équation normale.

Cette équation nous donne les paramètres d'une droite avec le SSR minimal.
Vous n'avez pas compris comment cela fonctionne ? Pas d'inquiétude ! Ce sont des mathématiques assez complexes. Mais il n'est pas nécessaire de calculer les paramètres à la main. De nombreuses bibliothèques ont déjà implémenté la régression linéaire.

Quiz