Логістична регресія насправді є алгоритмом класифікації, незважаючи на слово «Регресія» у назві.

Свою назву вона отримала тому, що базується на лінійній регресії, але використовує логістичну (сигмоїдну) функцію для перетворення вихідних даних у ймовірності, що дозволяє класифікувати дані за категоріями замість прогнозування неперервних значень.

Припустимо, ви хочете передбачити, чи особа допустить дефолт за першою позикою (кредитна історія відсутня).

У лінійній регресії ми будуємо рівняння для прогнозування числових значень. Те саме рівняння можна використати для обчислення "рейтингу надійності". Він враховує такі ознаки, як дохід, тривалість поточного працевлаштування, співвідношення боргу до доходу тощо. Вищий рейтинг надійності означає меншу ймовірність дефолту.

Значення $\beta$ — це параметри, які модель повинна навчитися визначати. Під час навчання комп'ютер коригує ці значення, щоб покращити точність прогнозів. Це відбувається шляхом мінімізації різниці між передбаченими результатами та фактичними мітками — ця різниця вимірюється так званою функцією втрат.

Щоб перетворити сирий вихід моделі на мітку класу (0 або 1), у логістичній регресії використовується сигмоїдна функція. Ця функція приймає будь-яке дійсне число і стискає його в діапазон від 0 до 1, що дозволяє інтерпретувати його як ймовірність.

Сигмоїдна функція визначається так:

Тут $z$ — це оцінка (також називається логітом), яку ми обчислили раніше.

Для двох класів: 1 (особа не поверне перший кредит) і 0 (особа поверне перший кредит), після застосування сигмоїдної функції ми отримуємо ймовірність належності об'єкта до класу 1.

Щоб прийняти остаточне рішення (0 або 1), ми порівнюємо ймовірність із порогом — зазвичай 0.5:

• Якщо ймовірність більша за 0.5, прогнозуємо 1;
• Якщо вона менша або дорівнює 0.5, прогнозуємо 0.