Summary
This chapter covers data preprocessing techniques using pandas, including handling missing values, encoding categorical variables, and preparing features for consistent scaling.

General domain of usage
Machine learning

Início do pré-processamento com a exploração do conjunto de dados. Ao longo deste curso, será utilizado o **conjunto de dados de pinguins**, com o objetivo de prever a espécie de um pinguim.


Existem três opções possíveis, frequentemente chamadas de **classes** em aprendizado de máquina:

As características são: `'island'`, `'culmen_depth_mm'`, `'flipper_length_mm'`, `'body_mass_g'` e `'sex'`.

O conjunto de dados está armazenado no arquivo `penguins.csv`. Ele pode ser carregado a partir de um link com a função `pd.read_csv()` para examinar seu conteúdo:


import pandas as pd

df = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/a65bbc96-309e-4df9-a790-a1eb8c815a1c/penguins.csv')

print(df.head(10))

Este conjunto de dados apresenta várias questões que precisam ser tratadas:

* Dados ausentes;
* Variáveis categóricas;
* Diferentes escalas de atributos.


## Dados Ausentes

A maioria dos algoritmos de ML não consegue processar valores ausentes diretamente, portanto, estes devem ser tratados antes do treinamento. Os valores ausentes podem ser **removidos** ou **imputados** (substituídos por valores alternativos).

No `pandas`, células vazias são representadas como `NaN`. Muitos modelos de ML apresentarão erro se o conjunto de dados contiver até mesmo um único `NaN`.


## Dados Categóricos

O conjunto de dados inclui variáveis categóricas, que os modelos de aprendizado de máquina não conseguem processar diretamente.


Os dados categóricos devem ser **codificados** em formato numérico.


## Escalas Diferentes

Os valores de `'culmen_depth_mm'` variam de 13.1 a 21.5, enquanto os valores de `'body_mass_g'` variam de 2700 a 6300. Por causa disso, alguns modelos de ML podem considerar a característica `'body_mass_g'` **muito mais importante** do que `'culmen_depth_mm'`.

A **normalização** resolve esse problema. Esse tema será abordado em capítulos posteriores.

O aprendizado de máquina está presente em todos os lugares atualmente. Quer aprender por conta própria? Este curso é uma introdução ao mundo do aprendizado de máquina para que você compreenda os conceitos básicos, trabalhe com o Scikit-learn – a biblioteca mais popular para ML – e desenvolva seu primeiro projeto de aprendizado de máquina.
Este curso é destinado a estudantes com conhecimentos básicos em Python, Pandas e Numpy.

Aprenda os conceitos de Machine Learning e o fluxo de trabalho de projetos de ML.

O pré-processamento é provavelmente a etapa mais importante de um projeto de ML. Este capítulo aborda as etapas de pré-processamento necessárias para praticamente qualquer conjunto de dados.

Um pipeline é uma maneira organizada de combinar todas as etapas de pré-processamento, bem como um modelo. Pipelines facilitam muito o treinamento e a utilização de um modelo.

A modelagem é a etapa mais divertida de um projeto de ML. Vamos aprender a construir, ajustar e avaliar o modelo!

Familiarizando-se com o Conjunto de Dados

Dados Ausentes

Dados Categóricos

Escalas Diferentes