Summary  
The chapter explains the k-Nearest Neighbors algorithm, which classifies a new instance by finding its k closest labeled neighbors in feature space and assigning the most frequent class among them.

General domain of usage  
Binary classification of sweets (cookies vs. non-cookies) based on weight.

Vamos começar nossa aventura em classificação com a tarefa mais simples - **classificação binária**. Suponha que queremos classificar doces como biscoitos/não biscoitos com base em uma **única característica**: seu peso.

Uma maneira simples de prever a classe de uma nova instância é observar seu **vizinho mais próximo**. No nosso exemplo, precisamos encontrar um doce cujo peso seja mais semelhante ao da nova instância.

Essa é a ideia por trás do **k-Nearest Neighbors** (**k-NN**) - apenas observamos os vizinhos.
O algoritmo k-NN assume que coisas semelhantes existem em **proximidade próxima**. Em outras palavras, coisas semelhantes estão próximas umas das outras. O **k** em k-NN representa o número de vizinhos considerados ao fazer uma previsão.

No exemplo acima, consideramos apenas **1** vizinho, portanto foi o 1-Nearest Neighbor. Mas geralmente, k é definido como um número maior, pois considerar apenas um vizinho pode ser **não confiável**:

Se **k** (número de vizinhos) for maior que um, escolhe-se a **classe mais frequente** na vizinhança como previsão. Aqui está um exemplo de previsão de duas novas instâncias com **k=3**:

Como você pode ver, alterar o **k** pode resultar em previsões diferentes.

Ocasionalmente, o k-NN produz um **empate** quando várias classes aparecem com a mesma frequência entre os vizinhos mais próximos. A maioria das bibliotecas, incluindo o scikit-learn, resolve empates **escolhendo a primeira classe** em sua ordem interna – algo importante a se considerar, pois pode afetar sutilmente a reprodutibilidade e a interpretação.

Nota

No algoritmo k-Nearest Neighbors, como é prevista a classe de uma nova instância quando k > 1?

Domine os principais algoritmos de classificação que impulsionam o aprendizado de máquina moderno. Explore como modelos como k-NN, regressão logística, árvores de decisão e florestas aleatórias fazem previsões, avalie sua precisão e compreenda quando utilizar cada um. Desenvolva habilidades para comparar modelos e escolher o mais adequado para seus dados.

Descubra como o algoritmo dos k-vizinhos mais próximos realiza previsões com base na similaridade. Aprenda a lidar com múltiplas variáveis, ajustar parâmetros e aplicar validação cruzada para aprimorar a precisão.

Compreender como a regressão logística modela probabilidades e classifica resultados.
Prática de implementação, interpretação de fronteiras de decisão e aplicação de regularização para evitar overajuste.

Aprenda como as árvores de decisão dividem os dados em grupos significativos com base nos valores das características. Explore como parâmetros como profundidade da árvore e número mínimo de amostras por folha afetam o desempenho do modelo e a generalização.

Explore como as florestas aleatórias combinam múltiplas árvores de decisão para melhorar a precisão e a robustez. Compreenda o papel da aleatoriedade e aplique este método de ensemble a dados do mundo real.

Avaliação de modelos utilizando métricas como acurácia, precisão, recall e F1-score. Interpretação de matrizes de confusão e comparação de múltiplos classificadores para identificar o modelo de melhor desempenho.

O Que É k-NN