Проблема лінійної регресії

Перш ніж визначити поліноміальну регресію, розглянемо випадок, коли лінійна регресія, яку ми вивчали раніше, не справляється із завданням.

Тут видно, що наша проста модель лінійної регресії працює дуже погано. Це пов'язано з тим, що вона намагається підібрати пряму до точок даних. Однак можна помітити, що підбір параболи був би набагато кращим вибором для цих точок.

Рівняння квадратичної регресії

Для побудови моделі прямої ми використовували рівняння прямої (y=ax+b). Тому для побудови параболічної моделі нам потрібне рівняння параболи. Це квадратичне рівняння: $y=ax²+bx+c$. Замінивши $a$, $b$ і $c$ на $β$, отримаємо рівняння квадратичної регресії:

Де:

• $\beta_0, \beta_1, \beta_2$ – параметри моделі;
• $y_{\text{pred}}$ – прогноз цільової змінної;
• $x$ – значення ознаки.

Модель, яку описує це рівняння, називається квадратична регресія. Як і раніше, нам потрібно знайти найкращі параметри для наших точок даних.

Нормальне рівняння та X̃

Як завжди, нормальне рівняння використовується для знаходження найкращих параметрів. Але нам потрібно правильно визначити X̃.

Ми вже знаємо, як будувати матрицю X̃ для множинної лінійної регресії. Виявляється, матриця X̃ для поліноміальної регресії будується подібним чином. Ми можемо розглядати x² як другу ознаку. Таким чином, потрібно додати відповідний новий стовпець до X̃. Він міститиме ті ж значення, що й попередній стовпець, але піднесені до квадрату.

Відео нижче демонструє, як побудувати X̃.