Overajuste e Regularização

Como demonstrado no capítulo anterior, utilizando PolynomialFeatures, é possível criar uma fronteira de decisão complexa. Características polinomiais de segundo grau podem até mesmo produzir as fronteiras mostradas na imagem abaixo:

E isso é apenas com grau dois. Um grau mais alto pode gerar formas ainda mais complexas. Porém, existe um problema nisso. A fronteira de decisão construída pela Regressão Logística pode se tornar muito complicada, levando o modelo ao overfitting.

Overfitting ocorre quando o modelo, em vez de aprender padrões gerais nos dados, constrói uma fronteira de decisão muito complexa para lidar com cada instância de treinamento. Ainda assim, não apresenta bom desempenho em dados nunca vistos, sendo que performar bem em dados desconhecidos é uma tarefa fundamental de um modelo de aprendizado de máquina.

A regularização aborda o problema de overfitting. Na verdade, a regularização l2 é utilizada por padrão na classe LogisticRegression. No entanto, é necessário configurar a intensidade da regularização do modelo. Isso é controlado pelo parâmetro C:

• maior C - menor regularização, mais overfitting;
• menor C - regularização mais forte, menos overfitting (mas possivelmente underfitting).

Os valores de C que resultarão em um bom modelo dependem do conjunto de dados, portanto é melhor escolhê-los usando o GridSearchCV.

A classe LogisticRegression inclui regularização por padrão, portanto você deve remover a regularização (definindo penalty=None) ou escalar os dados (por exemplo, usando StandardScaler).