Недолік GridSearchCV
Перш ніж розглядати GridSearchCV, важливо зазначити, що у KNeighborsClassifier є кілька гіперпараметрів, окрім n_neighbors. Два з них: weights та p.
Ваги
KNeighborsClassifier здійснює прогнозування, знаходячи k найближчих сусідів і призначаючи найчастіший клас серед них, незалежно від того, наскільки близько знаходиться кожен сусід.
Альтернативою є зважування сусідів за їхньою відстанню, надаючи більший вплив ближчим точкам. Це реалізується за допомогою weights='distance'.
За замовчуванням класифікатор використовує weights='uniform', коли всі сусіди мають однаковий внесок.
P
Гіперпараметр p визначає спосіб обчислення відстаней:
p=1: Манхеттенська відстань (сума модулів різниць між координатами);p=2: Евклідова відстань (відстань по прямій, знайома з геометрії).
Параметр p може приймати будь-яке додатне ціле число. Існує багато різних метрик відстані, але їх складніше візуалізувати, ніж p=1 або p=2.
Не переймайтеся, якщо деталі щодо weights або p залишаються незрозумілими. Вони наведені лише для того, щоб показати, що існує більше одного гіперпараметра, який може впливати на передбачення моделі. Розглядайте їх як приклади гіперпараметрів, які можна налаштовувати.
У попередньому розділі для налаштування використовувався лише параметр GridSearchCV у n_neighbors.
Щоб знайти найкращу комбінацію параметрів n_neighbors, weights та p, можна визначити param_grid так:
param_grid = {
'n_neighbors': [1, 3, 5, 7],
'weights': ['distance', 'uniform'],
'p': [1, 2]
}
GridSearchCV перевіряє всі можливі комбінації для знаходження найкращої, тому буде випробувано всі такі варіанти:
Це суттєво збільшує простір пошуку. Наприклад:
param_grid = {
'n_neighbors': [1, 3, 5, 7, 9, 12, 15, 17, 20, 25],
'weights': ['distance', 'uniform'],
'p': [1, 2, 3, 4, 5]
}
За наявності 100 комбінацій гіперпараметрів і 5-кратної крос-валідації модель навчається та оцінюється 500 разів.
Для невеликих наборів даних це можливо, але для більших наборів і складніших моделей процес стає дуже повільним.
Для таких випадків часто віддають перевагу RandomizedSearchCV. Він досліджує лише підмножину всіх можливих комбінацій, значно скорочуючи час обчислень і водночас забезпечуючи якісні результати.
Дякуємо за ваш відгук!
Запитати АІ
Запитати АІ
Запитайте про що завгодно або спробуйте одне із запропонованих запитань, щоб почати наш чат
Awesome!
Completion rate improved to 3.13Недолік GridSearchCV
Свайпніть щоб показати меню
Перш ніж розглядати GridSearchCV, важливо зазначити, що у KNeighborsClassifier є кілька гіперпараметрів, окрім n_neighbors. Два з них: weights та p.
Ваги
KNeighborsClassifier здійснює прогнозування, знаходячи k найближчих сусідів і призначаючи найчастіший клас серед них, незалежно від того, наскільки близько знаходиться кожен сусід.
Альтернативою є зважування сусідів за їхньою відстанню, надаючи більший вплив ближчим точкам. Це реалізується за допомогою weights='distance'.
За замовчуванням класифікатор використовує weights='uniform', коли всі сусіди мають однаковий внесок.
P
Гіперпараметр p визначає спосіб обчислення відстаней:
p=1: Манхеттенська відстань (сума модулів різниць між координатами);p=2: Евклідова відстань (відстань по прямій, знайома з геометрії).
Параметр p може приймати будь-яке додатне ціле число. Існує багато різних метрик відстані, але їх складніше візуалізувати, ніж p=1 або p=2.
Не переймайтеся, якщо деталі щодо weights або p залишаються незрозумілими. Вони наведені лише для того, щоб показати, що існує більше одного гіперпараметра, який може впливати на передбачення моделі. Розглядайте їх як приклади гіперпараметрів, які можна налаштовувати.
У попередньому розділі для налаштування використовувався лише параметр GridSearchCV у n_neighbors.
Щоб знайти найкращу комбінацію параметрів n_neighbors, weights та p, можна визначити param_grid так:
param_grid = {
'n_neighbors': [1, 3, 5, 7],
'weights': ['distance', 'uniform'],
'p': [1, 2]
}
GridSearchCV перевіряє всі можливі комбінації для знаходження найкращої, тому буде випробувано всі такі варіанти:
Це суттєво збільшує простір пошуку. Наприклад:
param_grid = {
'n_neighbors': [1, 3, 5, 7, 9, 12, 15, 17, 20, 25],
'weights': ['distance', 'uniform'],
'p': [1, 2, 3, 4, 5]
}
За наявності 100 комбінацій гіперпараметрів і 5-кратної крос-валідації модель навчається та оцінюється 500 разів.
Для невеликих наборів даних це можливо, але для більших наборів і складніших моделей процес стає дуже повільним.
Для таких випадків часто віддають перевагу RandomizedSearchCV. Він досліджує лише підмножину всіх можливих комбінацій, значно скорочуючи час обчислень і водночас забезпечуючи якісні результати.
Дякуємо за ваш відгук!
