Divisão dos Dados

Após o treinamento de uma rede neural, é necessário um método para avaliar seu desempenho em dados não vistos. Isso nos permite entender se o modelo realmente aprendeu padrões úteis ou apenas memorizou os dados de treinamento. Para isso, dividimos o conjunto de dados em duas partes:

• Conjunto de treinamento: esta parte dos dados é utilizada para treinar a rede neural, permitindo o ajuste dos pesos e vieses por meio do backpropagation;
• Conjunto de teste: após o treinamento, o modelo é avaliado neste conjunto separado para medir sua capacidade de generalização em exemplos novos e não vistos.

Uma divisão comum é 80% para treinamento / 20% para teste, embora isso possa variar conforme o tamanho e a complexidade do conjunto de dados.

A divisão entre treino e teste geralmente é realizada utilizando a função train_test_split() do módulo sklearn.model_selection:

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=...)

O parâmetro test_size especifica a proporção do conjunto de dados que será usada como conjunto de teste. Por exemplo, ao definir test_size=0.1, 10% dos dados serão usados para teste, enquanto os 90% restantes serão usados para treinamento.

Se um modelo apresenta bom desempenho nos dados de treinamento, mas desempenho ruim nos dados de teste, pode estar ocorrendo overfitting, ou seja, o modelo memorizou o conjunto de treinamento em vez de aprender padrões generalizáveis. O objetivo é alcançar alta acurácia no teste mantendo boa generalização.

Após o treinamento do modelo, é necessário quantificar seu desempenho utilizando métricas. A escolha da métrica depende da tarefa específica de classificação.

Métricas de Classificação

Para problemas de classificação, diversas métricas principais podem ser utilizadas para avaliar as previsões do modelo:

• acurácia;
• precisão;
• recall;
• F1-score.

Como um perceptron realiza classificação binária, criar uma matriz de confusão ajudará a compreender melhor essas métricas.

Acurácia mede a proporção de amostras classificadas corretamente em relação ao total. Se um modelo classifica corretamente 90 de 100 imagens, sua acurácia é 90%.

Embora a acurácia seja útil, ela pode não fornecer uma visão completa—especialmente para conjuntos de dados desbalanceados. Por exemplo, em um conjunto de dados onde 95% das amostras pertencem a uma classe, um modelo pode atingir 95% de acurácia apenas prevendo sempre a classe majoritária—sem realmente aprender algo útil. Nesses casos, precisão, recall ou F1-score podem ser mais informativos.

Precisão é a porcentagem de casos positivos corretamente previstos em relação a todos os positivos previstos. Essa métrica é especialmente útil quando falsos positivos são custosos, como em detecção de spam ou fraude.

Recall (sensibilidade) mede quantos dos casos realmente positivos o modelo identifica corretamente. Um alto recall é essencial em cenários onde falsos negativos devem ser minimizados, como em diagnósticos médicos.

F1-score é a média harmônica de precisão e recall, fornecendo uma medida equilibrada quando tanto falsos positivos quanto falsos negativos são importantes. Isso é útil quando o conjunto de dados é desbalanceado, ou seja, uma classe aparece significativamente mais do que a outra.