Тепер ми знаємо, що лінійна регресія — це просто пряма, яка найкраще описує дані. Але як визначити, яка саме пряма є правильною?

Ви можете обчислити різницю між передбаченим значенням і фактичним цільовим значенням для кожної точки даних у тренувальній вибірці.
Ці різниці називаються залишками (або помилками). Мета полягає в тому, щоб зробити залишки якомога меншими.

Метод найменших квадратів

Стандартний підхід — це метод найменших квадратів (OLS):
Для кожного залишку потрібно піднести його до квадрату (переважно для усунення знаку залишку) і підсумувати всі ці значення.
Це називається SSR (сума квадратів залишків). Завдання полягає у знаходженні параметрів, які мінімізують SSR.

Нормальне рівняння

На щастя, нам не потрібно перебирати всі можливі прямі та обчислювати для них SSR. Задача мінімізації SSR має математичне рішення, яке не є надто обчислювально складним.
Це рішення називається нормальне рівняння.

Це рівняння дозволяє знайти параметри прямої з найменшим SSR.
Не зрозуміли, як це працює? Не хвилюйтеся! Це досить складна математика. Але вам не потрібно обчислювати параметри вручну. Багато бібліотек вже реалізували лінійну регресію.

Тест