Метрики дрейфу
Свайпніть щоб показати меню
Під час моніторингу дрейфу у робочих процесах Data Science використовуються кількісні метрики для оцінки того, чи змінився розподіл ознак або виходів моделі з часом. Найчастіше застосовуються три основні метрики дрейфу: дивергенція Кульбака-Лейблера (KL), індекс стабільності популяції (PSI) та критерій Колмогорова–Смирнова (KS). Кожна метрика відображає різні аспекти розбіжності розподілів, і розуміння їх математичної суті допоможе обрати відповідний інструмент для конкретного випадку.
Дивергенція KL вимірює, наскільки один ймовірнісний розподіл відрізняється від еталонного. Вона є несиметричною та кількісно оцінює втрату інформації при апроксимації істинного розподілу іншим. PSI широко використовується у кредитному скорингу та бізнес-аналітиці; він визначає, наскільки розподіл змінної змістився між базовим і новим набором даних, зазвичай шляхом групування значень у бінти та підсумовування різниць у пропорціях. Критерій KS — непараметричний тест, що порівнює кумулятивні розподіли двох вибірок, фокусуючись на найбільшій різниці між їхніми емпіричними функціями розподілу (ECDF). У той час як KL та PSI дають одне підсумкове значення, критерій KS повертає як статистику, так і p-значення, що допомагає оцінити статистичну значущість.
12345678910111213import numpy as np # Define two synthetic probability distributions p = np.array([0.1, 0.4, 0.5]) q = np.array([0.2, 0.3, 0.5]) # Ensure no zero probabilities to avoid division errors p = np.where(p == 0, 1e-10, p) q = np.where(q == 0, 1e-10, q) # Compute KL divergence: sum(p * log(p/q)) kl_divergence = np.sum(p * np.log(p / q)) print("KL Divergence:", kl_divergence)
Для практичного тлумачення цих метрик необхідно встановити порогові значення, які вказують, коли дрейф є достатньо значущим для вжиття заходів. Для KL-дивергенції значення, близькі до нуля, свідчать про схожість розподілів, а вищі значення — про більшу розбіжність; практичні пороги залежать від контексту, але значення понад 0.1–0.5 часто вказують на помітний дрейф. Для PSI значення менше 0.1 зазвичай означає відсутність дрейфу, 0.1–0.25 — помірний дрейф, а понад 0.25 — значний дрейф. Критерій KS дає статистику в межах від 0 до 1, де вищі значення відображають більшу розбіжність; p-значення менше 0.05 зазвичай означає статистично значущу різницю.
Під час використання цих метрик завжди враховуйте контекст і бізнес-наслідки дрейфу. Невеликі зміни можуть бути прийнятними в одних випадках, тоді як навіть незначні зсуви можуть бути критичними для високоризикових застосувань.
Метрики дрейфу ознак, такі як KL divergence, PSI та KS test, вимірюють зміни у розподілі вхідних даних з часом. Метрики дрейфу моделі, навпаки, оцінюють зміни у продуктивності або прогнозах моделі, наприклад, зниження точності або AUC. Важливо відстежувати обидва типи метрик для підтримки надійності моделі.
Дякуємо за ваш відгук!
Запитати АІ
Запитати АІ
Запитайте про що завгодно або спробуйте одне із запропонованих запитань, щоб почати наш чат
