Summary  
This chapter explains how to estimate the optimal parameters of a linear regression model by minimizing the sum of squared residuals using the ordinary least squares method and solving the normal equation.

General domain of usage  
Machine learning predictive modeling

Тепер ми знаємо, що лінійна регресія — це просто пряма, яка найкраще описує дані. Але як визначити, яка з них є правильною?

Можна обчислити різницю між передбаченим значенням і фактичним цільовим значенням для кожної точки даних у навчальній вибірці.   
Ці різниці називаються **залишками** (або **помилками**). Мета полягає в тому, щоб зробити залишки якомога меншими.   

## Метод найменших квадратів
Стандартний підхід — це метод **найменших квадратів** (**OLS**):   
Взяти кожен залишок, **піднести його до квадрату** (переважно для усунення знаку залишку) та **підсумувати всі їх**.  
Це називається **SSR** (**сума квадратів залишків**). Завдання полягає у знаходженні параметрів, які мінімізують SSR.

## Нормальне рівняння
На щастя, нам не потрібно перебирати всі прямі та обчислювати SSR для кожної з них. Задача мінімізації SSR має математичне рішення, яке не є обчислювально складним.  
Це рішення називається **нормальне рівняння**.

Це рівняння дає нам параметри прямої з найменшим SSR.  
Не зрозуміли, як це працює? Не хвилюйтеся! Це досить складна математика. Але вам не потрібно обчислювати параметри вручну. Багато бібліотек вже реалізували лінійну регресію.


Розгляньте зображення вище. Яка регресійна пряма є кращою?

`y_true - y_predicted` називається

Лінійна регресія є ключовим поняттям у прогностичній аналітиці. Вона широко використовується дата-сайентістами, аналітиками даних та статистиками, оскільки її легко побудувати та інтерпретувати, але вона достатньо потужна для багатьох завдань.

Почнемо з найпростішої моделі лінійної регресії. Ви ознайомитеся з основною ідеєю лінійної регресії та дізнаєтеся, як здійснювати прогнозування в Python.

Більшість реальних задач прогнозування включають більше ніж одну ознаку. Ви дізнаєтеся, як працювати з лінійною регресією з декількома ознаками.

Пряма лінія не завжди добре описує дані. Дізнаймося, як побудувати складнішу модель для прогнозування. Саме для цього підходить поліноміальна регресія.

Тепер, коли ви знаєте, як створювати різні моделі лінійної регресії, необхідно визначити спосіб вибору найкращої з них. Це можливо за допомогою метрик. У цьому розділі розглядаються найбільш поширені метрики та труднощі, з якими можна зіткнутися під час їх використання.

Знаходження Параметрів

Метод найменших квадратів

Нормальне рівняння

Тест

1. Розгляньте зображення вище. Яка регресійна пряма є кращою?