Метрики

До цього моменту основним показником для оцінки ефективності моделі була точність. Проте точність має певні обмеження. Далі розглядаються її недоліки та вводяться декілька додаткових метрик — на основі TP, TN, FP і FN — які допомагають вирішити ці проблеми.

Точність

Точність відображає частку правильних передбачень:

Однак точність має свої недоліки. Наприклад, уявіть, що ви намагаєтеся передбачити, чи має пацієнт рідкісне захворювання. У наборі даних 99,9% здорових пацієнтів і лише 0,1% із захворюванням. У такому випадку, якщо завжди передбачати, що пацієнт здоровий, точність складе 0,999 — хоча така модель є абсолютно марною.

Такі набори даних називають несбалансованими, і в таких випадках збалансована точність є кращою метрикою для використання.

Збалансована точність

Збалансована точність окремо обчислює частку правильних позитивних передбачень і частку правильних негативних передбачень, а потім усереднює їх. Такий підхід надає рівну важливість кожному класу, незалежно від того, наскільки несбалансований набір даних.

Де

• $\text{P} = \textcolor{green}{\text{TP}} + \textcolor{red}{\text{FN}}$ — загальна кількість позитивних випадків (клас 1);
• $\text{N} = \textcolor{green}{\text{TN}} + \textcolor{red}{\text{FP}}$ — загальна кількість негативних випадків (клас 0).

У прикладі з рідкісним захворюванням збалансована точність моделі, яка завжди передбачає "здоровий", буде 0,5 — що ефективно підкреслює проблему. Таким чином, це питання вирішується.

Однак збалансована точність все ще не розрізняє помилки першого та другого типу — так само, як і звичайна точність. Саме тут з'являються точність (precision) та повнота (recall).

Точність

Метрика точність показує, скільки з тих значень, які модель передбачила як позитивні, були дійсно позитивними. Це частка істинно позитивних передбачень серед усіх позитивних передбачень, зроблених моделлю:

Використовуючи метрику точності, можна зрозуміти, як часто виникає помилка першого роду. Висока точність означає, що помилки першого роду трапляються рідко, а низька точність вказує на їх часте виникнення.

Повнота

Метрика повнота показує частку дійсно позитивних випадків, які модель правильно передбачила:

Метрика recall допомагає зрозуміти, як часто виникає помилка другого роду. Високе значення recall означає, що помилки другого роду трапляються рідко, а низьке — що вони виникають часто.

Однак і precision, і recall мають обмеження. Наприклад, модель, яка прогнозує лише позитивний клас (1), досягне ідеального recall, але її precision буде низьким. З іншого боку, модель, яка правильно передбачає лише один позитивний випадок і все інше позначає як негативне, матиме ідеальний precision, але дуже низький recall.

Це показує, що хоча легко побудувати модель з ідеальним precision або recall, набагато складніше створити таку, яка добре працює за обома показниками. Тому важливо враховувати обидві метрики — і, на щастя, існує метрика, яка їх поєднує.

F1-оцінка

F1-оцінка — це гармонічне середнє між precision і recall. Гармонічне середнє віддається перевага над звичайним (арифметичним), оскільки воно сильніше штрафує ситуації, коли одне зі значень (precision або recall) низьке, що робить його більш збалансованою мірою ефективності моделі.

F1-оцінка поєднує precision і recall в одну метрику. Вона буде високою лише тоді, коли обидва показники досить високі, що робить її корисною для балансування обох типів помилок.

Вибір правильної метрики залежить від конкретного завдання. Точність (або збалансована точність для незбалансованих наборів даних) є інтуїтивно зрозумілою та надає загальне уявлення про ефективність моделі. Якщо потрібен детальніший аналіз типів помилок моделі, точність допомагає визначити помилки першого роду, а повнота підкреслює помилки другого роду. F1-міра показує, наскільки добре модель збалансована щодо помилок першого та другого роду.

Метрики в Python

Scikit-learn надає реалізації всіх цих метрик у модулі sklearn.metrics:

from sklearn.metrics import accuracy_score, balanced_accuracy_score, precision_score, recall_score, f1_score

accuracy = accuracy_score(y_true, y_pred)
balanced_accuracy = balanced_accuracy_score(y_true, y_pred)
precision = precision_score(y_true, y_pred)
recall = recall_score(y_true, y_pred)
f1 = f1_score(y_true, y_pred)

Якщо потрібно отримати такі метрики, як precision, recall та F1-score одночасно, у sklearn є функція classification_report():