Notice: This page requires JavaScript to function properly.
Please enable JavaScript in your browser settings or update your browser.Boosting de Gradiente | Commonly Used Boosting Models
Ensemble Learning

Boosting de GradienteBoosting de Gradiente

Gradient Boosting é uma técnica poderosa de aprendizagem de conjunto com boosting para tarefas de classificação e regressão.

Como funciona o Gradient Boosting?

  1. Inicialização do Modelo Base: O processo começa com a inicialização de um modelo básico como o primeiro aprendiz fraco. Este modelo inicial faz previsões, mas elas podem não ser muito precisas.
  2. Cálculo do Resíduo: A diferença entre os valores alvo reais e as previsões do modelo atual é calculada. Essas diferenças, conhecidas como resíduos ou erros, representam os "resíduos" que o próximo modelo tentará corrigir.
  3. Ajuste do Novo Modelo: Um novo aprendiz fraco é ajustado para prever os resíduos da etapa anterior. Este novo modelo visa corrigir os erros cometidos pelo modelo anterior.
  4. Combinação de Previsões: As previsões do novo modelo são adicionadas às previsões do modelo anterior. As previsões combinadas começam a se aproximar mais dos valores alvo reais.
  5. Processo Iterativo: As etapas 3 e 4 são repetidas por um número especificado de iterações (ou até que um critério de parada seja atendido). Em cada iteração, um novo modelo é ajustado para prever os resíduos das previsões combinadas das iterações anteriores.
  6. Previsão Final: Após completar todas as iterações, a previsão final é obtida pela soma das previsões dos aprendizes fracos. Este conjunto de modelos forma um aprendiz forte que aprendeu a corrigir os erros dos modelos anteriores.

    Nota

    Também podemos calcular a importância das características usando o atributo .feature_importances_ do modelo treinado.

Exemplo

Nota

É importante notar que as classes GradientBoostingRegressor e GradientBoostingClassifier em Python são projetadas para usar apenas DecisionTreeRegressor e DecisionTreeClassifier como modelos base de um conjunto!

Code Description
  • Creating the GradientBoostingClassifier:
    • A GradientBoostingClassifier instance named clf is created.
    The parameter n_estimators is set to 100, indicating the number of boosting iterations to perform during training.
  • Training the Classifier:
    • The clf classifier is trained on the training data (X_train, y_train) using the .fit( method.
    During each boosting iteration, a decision tree classifier is fit to the negative gradient of the loss function with respect to the current predictions.
  • Making Predictions:
    • Predictions for the testing data (X_test) are made using the trained classifier's .predict() method.
    The predicted labels are stored in the y_pred array.
    You can find the official documentation with all the necessary information about implementing this model in Python on the official website. Go here if needed.

    Podemos usar o SVC (Support Vector Classifier) como modelo base do Gradient Boosting Classifier em Python?

    Selecione a resposta correta

    Tudo estava claro?

    Seção 3. Capítulo 4
    course content

    Conteúdo do Curso

    Ensemble Learning

    1. Princípios Básicos da Construção de Modelos de Ensemble

    O que é Ensemble de Modelos?Modelos de BaggingModelos ImpulsionadoresEmpilhamento de Modelos

    2. Modelos de Bagging Comumente Utilizados

    Classificador BaggingDesafio: Resolver Tarefa Usando Classificador de BaggingRegressão por AgregaçãoDesafio: Resolvendo Tarefa com Regressor de AgregaçãoFloresta AleatóriaDesafio: Determinar a Importância das Características Usando Floresta AleatóriaÁrvores Extremamente Aleatórias

    3. Modelos de Boosting Mais Usados

    Classificador AdaBoostDesafio: Solução de Tarefas Usando Classificador AdaBoostDesafio: Resolver Tarefa Usando AdaBoost RegressorBoosting de GradienteXGBoostDesafio: Resolução de Tarefa Usando XGBoost

    4. Modelos de Empilhamento Comumente Utilizados

    Classificador StackingDesafio: Resolução de Tarefas Usando Classificador de EmpilhamentoDesafio: Resolvendo Tarefa Usando Regressor de EmpilhamentoUsando Conjuntos como Modelos BaseResumo do Curso

    Ensemble Learning

    Boosting de GradienteBoosting de Gradiente

    Gradient Boosting é uma técnica poderosa de aprendizagem de conjunto com boosting para tarefas de classificação e regressão.

    Como funciona o Gradient Boosting?

    1. Inicialização do Modelo Base: O processo começa com a inicialização de um modelo básico como o primeiro aprendiz fraco. Este modelo inicial faz previsões, mas elas podem não ser muito precisas.
    2. Cálculo do Resíduo: A diferença entre os valores alvo reais e as previsões do modelo atual é calculada. Essas diferenças, conhecidas como resíduos ou erros, representam os "resíduos" que o próximo modelo tentará corrigir.
    3. Ajuste do Novo Modelo: Um novo aprendiz fraco é ajustado para prever os resíduos da etapa anterior. Este novo modelo visa corrigir os erros cometidos pelo modelo anterior.
    4. Combinação de Previsões: As previsões do novo modelo são adicionadas às previsões do modelo anterior. As previsões combinadas começam a se aproximar mais dos valores alvo reais.
    5. Processo Iterativo: As etapas 3 e 4 são repetidas por um número especificado de iterações (ou até que um critério de parada seja atendido). Em cada iteração, um novo modelo é ajustado para prever os resíduos das previsões combinadas das iterações anteriores.
    6. Previsão Final: Após completar todas as iterações, a previsão final é obtida pela soma das previsões dos aprendizes fracos. Este conjunto de modelos forma um aprendiz forte que aprendeu a corrigir os erros dos modelos anteriores.

      Nota

      Também podemos calcular a importância das características usando o atributo .feature_importances_ do modelo treinado.

    Exemplo

    Nota

    É importante notar que as classes GradientBoostingRegressor e GradientBoostingClassifier em Python são projetadas para usar apenas DecisionTreeRegressor e DecisionTreeClassifier como modelos base de um conjunto!

    Code Description
  • Creating the GradientBoostingClassifier:
    • A GradientBoostingClassifier instance named clf is created.
    The parameter n_estimators is set to 100, indicating the number of boosting iterations to perform during training.
  • Training the Classifier:
    • The clf classifier is trained on the training data (X_train, y_train) using the .fit( method.
    During each boosting iteration, a decision tree classifier is fit to the negative gradient of the loss function with respect to the current predictions.
  • Making Predictions:
    • Predictions for the testing data (X_test) are made using the trained classifier's .predict() method.
    The predicted labels are stored in the y_pred array.
    You can find the official documentation with all the necessary information about implementing this model in Python on the official website. Go here if needed.

    Podemos usar o SVC (Support Vector Classifier) como modelo base do Gradient Boosting Classifier em Python?

    Selecione a resposta correta

    Tudo estava claro?

    Seção 3. Capítulo 4
    some-alt