Empilhamento, também conhecido como generalização empilhada, é uma técnica de aprendizagem de conjunto que combina vários modelos de base (aprendizes) com um meta-modelo para melhorar o desempenho preditivo. É uma forma mais avançada de aprendizagem de conjunto do que o boosting e o bagging. O empilhamento visa aproveitar as forças de diferentes modelos de base e aprender como combinar suas previsões da melhor maneira através do meta-modelo.

Como funciona o empilhamento?

Veja como funciona o empilhamento:

1. Modelos de Base (Modelo de Nível 0): Vários modelos de base diversos são treinados com os dados de treinamento. Esses modelos de base podem ser diferentes algoritmos de aprendizado de máquina ou variações do mesmo algoritmo com diferentes hiperparâmetros. Cada modelo de base faz previsões sobre os dados de teste.
2. Meta-Modelo (Modelo de Nível 1): Um meta-modelo, também conhecido como misturador ou modelo de segundo nível, é então treinado usando as previsões feitas pelos modelos de base como suas características de entrada. O meta-modelo aprende a combinar essas previsões e gerar a previsão final do conjunto.
3. Treinamento e Validação: Os dados de treinamento são tipicamente divididos em várias partes (ou subconjuntos). Os modelos de base são treinados em diferentes partes, e o meta-modelo é treinado nas previsões feitas pelos modelos de base nos dados restantes (previsões fora da dobra). Isso ajuda a evitar o sobreajuste durante o processo de empilhamento.
4. Previsão: Após treinar os modelos de base e o meta-modelo, a previsão final é feita passando os dados de teste pelos modelos de base para obter suas previsões e, em seguida, usando essas previsões como entrada para o meta-modelo para produzir a previsão final do conjunto.

   Nota

   Observe que, em conjuntos de empilhamento, temos a capacidade de usar vários modelos juntos como modelos de base. No entanto, em outras técnicas de conjunto, estamos limitados a usar apenas um modelo de base específico para treinar cada conjunto.

Você pode ver o princípio de fazer previsões pelo conjunto de empilhamento na imagem abaixo:

Ao aproveitar os pontos fortes de diferentes modelos de base e aprender a combinar suas previsões de maneira otimizada, o empilhamento (stacking) pode levar a um desempenho preditivo aprimorado em comparação ao uso de um único modelo isoladamente. No entanto, exige um ajuste cuidadoso e validação para prevenir o sobreajuste e obter os melhores resultados.