Normalização de dados é uma etapa crítica de pré-processamento para muitos algoritmos de clusterização, incluindo o K-means. As características em conjuntos de dados do mundo real frequentemente possuem diferentes escalas e unidades. Algoritmos que dependem de cálculos de distância, como o K-means, podem ser fortemente influenciados por características com escalas maiores. A normalização tem como objetivo trazer todas as características para uma escala semelhante, evitando que características com valores maiores dominem o processo de clusterização.

StandardScaler

StandardScaler padroniza as características removendo a média e escalando para variância unitária. Ele transforma os dados para que tenham média 0 e desvio padrão 1. Isso é feito subtraindo a média e dividindo pelo desvio padrão para cada característica.

StandardScaler é eficaz quando os dados são aproximadamente distribuídos normalmente. É amplamente utilizado e frequentemente um bom método padrão de normalização para muitos algoritmos.

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
features = df[['feature1', 'feature2']]

df[['feature1', 'feature2']] = scaler.fit_transform(features)

MinMaxScaler

MinMaxScaler escala as características para um intervalo específico, tipicamente entre 0 e 1. Ele transforma os dados escalando e deslocando cada característica individualmente para que fique dentro do intervalo definido.

MinMaxScaler é útil quando é necessário que os valores estejam dentro de um intervalo específico, ou quando os dados não são distribuídos normalmente. Ele preserva o formato da distribuição original, apenas ajustando para o novo intervalo.

from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()
features = df[['feature1', 'feature2']]

df[['feature1', 'feature2']] = scaler.fit_transform(features)

A escolha entre StandardScaler e MinMaxScaler depende dos seus dados e do algoritmo específico. StandardScaler é frequentemente preferido para algoritmos como o K-means quando as características são aproximadamente distribuídas normalmente. MinMaxScaler pode ser útil quando são necessários valores limitados ou quando os dados não são distribuídos normalmente.