Лінійна Регресія з N Ознаками

Рівняння лінійної регресії з N ознаками

Як ми вже бачили, додавання нової ознаки до моделі лінійної регресії таке ж просте, як і додавання її разом із новим параметром до рівняння моделі. Таким чином можна додати значно більше ніж два параметри.

Де:

• $\beta_0, \beta_1, \beta_2, \dots, \beta_n$ – параметри моделі;
• $y_{\text{pred}}$ – прогнозоване значення цільової змінної;
• $x_1$ – значення першої ознаки;
• $x_2$ – значення другої ознаки;
• $\dots$
• $x_n$ – значення n-ої ознаки.

Нормальне рівняння

Єдина проблема — це візуалізація. Якщо у нас два параметри, потрібно побудувати 3D-графік. Але якщо параметрів більше двох, графік буде багатовимірним. Оскільки ми живемо у тривимірному світі, ми не можемо уявити собі графіки з більшою кількістю вимірів. Проте візуалізація результату не є обов'язковою. Нам потрібно лише знайти параметри, щоб модель працювала. На щастя, знайти їх досить просто. Допоможе добре відоме нормальне рівняння:

Де:

• $\beta_0, \beta_1, \dots, \beta_n$ – параметри моделі;
• $\tilde{X}$ – матриця, що містить 1 у першому стовпці, а $X_1 - X_n$ — в інших стовпцях:

• $X_k$ – масив значень k-ої ознаки з навчальної вибірки;
• $y_{\text{true}}$ – масив цільових значень з навчальної вибірки.

Матриця X̃

Зверніть увагу, що змінилася лише матриця X̃. Можна уявити, що кожен стовпець цієї матриці відповідає за свій параметр β. Наступне відео пояснює, що мається на увазі.

Перший стовпець одиниць необхідний для знаходження параметра β₀.