Недолік GridSearchCV
Перш ніж розглядати GridSearchCV, важливо зазначити, що KNeighborsClassifier має кілька гіперпараметрів, окрім n_neighbors. Два з них: weights та p.
Ваги
KNeighborsClassifier здійснює прогнозування, знаходячи k найближчих сусідів і призначаючи найбільш поширений клас серед них, незалежно від того, наскільки близько знаходиться кожен сусід.
Альтернативою є зважування сусідів за їхньою відстанню, надаючи більший вплив ближчим точкам. Це реалізується за допомогою weights='distance'.
За замовчуванням класифікатор використовує weights='uniform', коли всі сусіди мають однаковий внесок.
P
Гіперпараметр p визначає спосіб обчислення відстаней:
p=1: Манхеттенська відстань (сума модулів різниць координат);p=2: Евклідова відстань (відстань по прямій, знайома з геометрії).
Параметр p може приймати будь-яке додатне ціле число. Існує багато різних відстаней, але їх складніше візуалізувати, ніж p=1 або p=2.
Не переймайтеся, якщо деталі параметрів weights або p залишаються незрозумілими. Вони наведені лише для того, щоб показати, що існує більше одного гіперпараметра, який може впливати на передбачення моделі. Розглядайте їх як приклади гіперпараметрів, які можна налаштовувати.
У попередньому розділі для налаштування використовувався лише параметр GridSearchCV у n_neighbors.
Щоб знайти найкращу комбінацію параметрів n_neighbors, weights та p, можна визначити param_grid так:
param_grid = {
'n_neighbors': [1, 3, 5, 7],
'weights': ['distance', 'uniform'],
'p': [1, 2]
}
GridSearchCV перевіряє всі можливі комбінації для знаходження найкращої, тому він спробує всі такі варіанти:
Це суттєво збільшує простір пошуку. Наприклад:
param_grid = {
'n_neighbors': [1, 3, 5, 7, 9, 12, 15, 17, 20, 25],
'weights': ['distance', 'uniform'],
'p': [1, 2, 3, 4, 5]
}
При 100 комбінаціях гіперпараметрів і 5-кратній крос-валідації модель навчається та оцінюється 500 разів.
Для невеликих наборів даних це допустимо, але для більших наборів і складніших моделей процес стає дуже повільним.
Для таких випадків часто використовується RandomizedSearchCV. Він досліджує лише підмножину всіх можливих комбінацій, значно скорочуючи час обчислень і водночас забезпечуючи якісні результати.
Дякуємо за ваш відгук!
Запитати АІ
Запитати АІ
Запитайте про що завгодно або спробуйте одне із запропонованих запитань, щоб почати наш чат
Awesome!
Completion rate improved to 3.13Недолік GridSearchCV
Свайпніть щоб показати меню
Перш ніж розглядати GridSearchCV, важливо зазначити, що KNeighborsClassifier має кілька гіперпараметрів, окрім n_neighbors. Два з них: weights та p.
Ваги
KNeighborsClassifier здійснює прогнозування, знаходячи k найближчих сусідів і призначаючи найбільш поширений клас серед них, незалежно від того, наскільки близько знаходиться кожен сусід.
Альтернативою є зважування сусідів за їхньою відстанню, надаючи більший вплив ближчим точкам. Це реалізується за допомогою weights='distance'.
За замовчуванням класифікатор використовує weights='uniform', коли всі сусіди мають однаковий внесок.
P
Гіперпараметр p визначає спосіб обчислення відстаней:
p=1: Манхеттенська відстань (сума модулів різниць координат);p=2: Евклідова відстань (відстань по прямій, знайома з геометрії).
Параметр p може приймати будь-яке додатне ціле число. Існує багато різних відстаней, але їх складніше візуалізувати, ніж p=1 або p=2.
Не переймайтеся, якщо деталі параметрів weights або p залишаються незрозумілими. Вони наведені лише для того, щоб показати, що існує більше одного гіперпараметра, який може впливати на передбачення моделі. Розглядайте їх як приклади гіперпараметрів, які можна налаштовувати.
У попередньому розділі для налаштування використовувався лише параметр GridSearchCV у n_neighbors.
Щоб знайти найкращу комбінацію параметрів n_neighbors, weights та p, можна визначити param_grid так:
param_grid = {
'n_neighbors': [1, 3, 5, 7],
'weights': ['distance', 'uniform'],
'p': [1, 2]
}
GridSearchCV перевіряє всі можливі комбінації для знаходження найкращої, тому він спробує всі такі варіанти:
Це суттєво збільшує простір пошуку. Наприклад:
param_grid = {
'n_neighbors': [1, 3, 5, 7, 9, 12, 15, 17, 20, 25],
'weights': ['distance', 'uniform'],
'p': [1, 2, 3, 4, 5]
}
При 100 комбінаціях гіперпараметрів і 5-кратній крос-валідації модель навчається та оцінюється 500 разів.
Для невеликих наборів даних це допустимо, але для більших наборів і складніших моделей процес стає дуже повільним.
Для таких випадків часто використовується RandomizedSearchCV. Він досліджує лише підмножину всіх можливих комбінацій, значно скорочуючи час обчислень і водночас забезпечуючи якісні результати.
Дякуємо за ваш відгук!
