Em resumo, foram apresentados quatro algoritmos: k-NN, Regressão Logística, Árvore de Decisão e Floresta Aleatória. Cada um possui vantagens e desvantagens específicas, discutidas ao final de suas respectivas seções.

A visualização a seguir ilustra o desempenho de cada algoritmo em diferentes conjuntos de dados sintéticos:

Neste contexto, quanto mais intensa a cor, maior a confiança do modelo em suas previsões.

É possível observar que cada conjunto de dados apresenta um modelo diferente com melhor desempenho. Antecipar qual modelo terá melhor resultado é uma tarefa difícil, portanto, a abordagem recomendada é testar vários modelos. Esse é o princípio do Teorema No Free Lunch.

Entretanto, em determinadas situações, o conhecimento sobre os algoritmos permite descartar previamente certos modelos caso não sejam adequados para a tarefa.

Por exemplo, isso ocorre com a Regressão Logística (sem utilizar PolynomialFeatures), que gera uma fronteira de decisão linear. Assim, ao analisar a complexidade do segundo conjunto de dados na imagem, seria possível prever antecipadamente que o desempenho não seria satisfatório.

Outro exemplo: se a tarefa exige velocidade de predição extremamente alta — como previsões em tempo real em um aplicativo — então k-NN é uma escolha inadequada. O mesmo se aplica a uma Floresta Aleatória com muitas Árvores de Decisão. É possível reduzir o número de árvores utilizando o parâmetro n_estimators para melhorar a velocidade, mas isso pode resultar em desempenho inferior.

A tabela a seguir auxilia na compreensão do pré-processamento necessário antes do treinamento de cada modelo e como o desempenho é afetado conforme aumenta o número de atributos ou instâncias:

• n – number of instances (samples);
• m – number of features;
• t – number of trees in a Random Forest;
• k – number of neighbors in k-NN;
• * Scaling is not required if penalty=None in Logistic Regression;
• ** PolynomialFeatures adds more features, so the effective number of features m increases.