Summary  
The chapter explains the k-Nearest Neighbors algorithm, which classifies a new instance by finding its k closest labeled neighbors in feature space and assigning the most frequent class among them.

General domain of usage  
Binary classification of sweets (cookies vs. non-cookies) based on weight.

Почнемо наше знайомство з класифікацією з найпростішого завдання — **бінарної класифікації**. Припустимо, потрібно класифікувати солодощі як печиво/не печиво на основі **однієї ознаки**: їхньої ваги.

Простий спосіб передбачити клас нового об'єкта — подивитися на його **найближчого сусіда**. У нашому прикладі потрібно знайти солодощі з вагою, найбільш схожою на вагу нового об'єкта.

Це і є ідея методу **k-найближчих сусідів** (**k-NN**) — ми просто розглядаємо сусідів.
Алгоритм k-NN припускає, що подібні об'єкти знаходяться у **близькій відстані** один до одного. Іншими словами, подібні об'єкти розташовані поруч. **k** у k-NN означає кількість сусідів, яких ми враховуємо під час прогнозування.

У наведеному вище прикладі ми розглядали лише **1** сусіда, тому це був 1-найближчий сусід. Але зазвичай k встановлюють більшим числом, оскільки орієнтація лише на одного сусіда може бути **ненадійною**:

Якщо **k** (кількість сусідів) більше одного, для прогнозу обирається **найчастіший клас** у сусідстві. Нижче наведено приклад прогнозування для двох нових об'єктів при **k=3**:

Як видно, зміна значення **k** може призвести до різних прогнозів.

Іноді k-NN створює **нічийний результат**, коли декілька класів зустрічаються однаково часто серед найближчих сусідів. Більшість бібліотек, включаючи scikit-learn, вирішують такі ситуації, **обираючи перший клас** у своєму внутрішньому порядку — це варто враховувати, оскільки це може непомітно вплинути на відтворюваність і тлумачення результатів.

Примітка

У алгоритмі k-найближчих сусідів, як визначається клас нового об'єкта, якщо k > 1?

Опануйте основні алгоритми класифікації, що лежать в основі сучасного машинного навчання. Дослідіть, як моделі, такі як k-NN, логістична регресія, дерева рішень і випадкові ліси, здійснюють передбачення, оцінюйте їхню точність і визначайте доцільність використання кожної з них. Розвивайте навички порівняння моделей і вибору найкращої для ваших даних.

Дізнайтеся, як алгоритм k найближчих сусідів здійснює передбачення на основі схожості. Ознайомтеся з обробкою декількох ознак, налаштуванням параметрів і застосуванням крос-валідації для підвищення точності.

Засвоєння принципів моделювання ймовірностей та класифікації результатів за допомогою логістичної регресії. Практика реалізації, інтерпретації меж рішень і застосування регуляризації для запобігання перенавчанню.

Дізнайтеся, як дерева рішень розділяють дані на змістовні групи на основі значень ознак. Дослідіть, як такі параметри, як глибина дерева та мінімальна кількість зразків у листі, впливають на продуктивність моделі та її здатність до узагальнення.

Дослідження того, як випадкові ліси поєднують кілька дерев рішень для підвищення точності та стійкості. Розуміння ролі випадковості та застосування цього ансамблевого методу до реальних даних.

Оцінювання моделей за допомогою метрик, таких як точність, прецизійність, повнота та F1-міра. Вивчення інтерпретації матриць плутанини та порівняння кількох класифікаторів для визначення найефективнішої моделі.

Що таке k-NN