Проблема лінійної регресії

Перш ніж визначити поліноміальну регресію, розглянемо випадок, коли лінійна регресія, яку ми вивчали раніше, не справляється із завданням.

Тут видно, що наша проста модель лінійної регресії працює дуже погано. Це відбувається тому, що вона намагається підібрати пряму до точок даних. Однак можна помітити, що підбір параболи був би набагато кращим вибором для наших точок.

Рівняння квадратичної регресії

Для побудови моделі прямої ми використовували рівняння прямої (y=ax+b). Тому для побудови параболічної моделі нам потрібне рівняння параболи. Це квадратичне рівняння: y=ax²+bx+c. Замінивши a, b та c на β, отримаємо рівняння квадратичної регресії:

Модель, яку описує це рівняння, називається квадратичною регресією. Як і раніше, нам потрібно знайти найкращі параметри для наших точок даних.

Нормальне рівняння та X̃

Як завжди, нормальне рівняння допомагає знаходити найкращі параметри. Але нам потрібно правильно визначити X̃.

Ми вже знаємо, як будувати матрицю X̃ для множинної лінійної регресії. Виявляється, матриця X̃ для поліноміальної регресії будується подібним чином. Ми можемо розглядати x² як другу ознаку. Таким чином, потрібно додати відповідний новий стовпець до X̃. Він міститиме ті самі значення, що й попередній стовпець, але піднесені до квадрату.

Відео нижче показує, як побудувати X̃.