O que é Gradient Boosting (aumento de gradiente)?

Gradient Boosting (ou aumento de gradiente, em português) é um algoritmo de aprendizado de máquina (machine learning, ML) usado para tarefas de regressão e classificação. O Gradient Boosting tornou-se popular graças à sua capacidade de lidar com relacionamentos complexos nos dados e proteger contra sobreajustes. Usando essa técnica, os cientistas de dados podem melhorar a precisão e a velocidade preditivas de seus modelos de ML. Neste artigo, você vai aprender sobre Gradient Boosting, como compartilhar os benefícios do uso dessa técnica e três casos de uso comuns.

Gradient Boosting é uma técnica conjunta de ML que alia um conjunto de modelos fracos a um modelo preditivo único, mais preciso e eficiente. Em geral, esses modelos mais fracos são árvores de decisão. Por isso, os algoritmos são comumente chamados de árvores de decisão com aumento de gradiente (gradient boosted decision trees, GBDTs). Os algoritmos de Gradient Boosting funcionam de forma iterativa, adicionando novos modelos de forma sequencial, a cada nova adição buscando corrigir os erros cometidos pelos anteriores. A previsão final do agregado representa a soma das previsões individuais de todos os modelos. O Gradient Boosting combina o algoritmo de gradiente descendente com o método de boosting, refletindo cada componente em seu próprio nome.

Esse processo de treinamento utiliza um método baseado em pontos fortes, permitindo que os cientistas de dados otimizem funções de perda diferenciáveis arbitrárias. O Gradient Boosting é usado para resolver problemas complexos de regressão e classificação. Com a regressão, o resultado final representa a média de todos os modelos fracos. Ao trabalhar com problemas de classificação, o resultado final do modelo pode ser calculado como a classe que recebe a maioria dos votos dos modelos fracos.

Boosting e bagging são os dois principais tipos de “ensemble learning” (aprendizado em conjunto). Os métodos de “ensemble learning” se diferenciam por sua abordagem coletiva, agregando um grupo de modelos base para gerar previsões mais precisas do que qualquer um dos componentes poderia sozinho. Nos métodos de boosting, os modelos fracos são treinados sucessivamente, com cada modelo individual contribuindo para o todo coletivo antes que o próximo seja introduzido. As técnicas de bagging treinam os modelos base em conjunto.

O recurso de Gradient Boosting oferece um bom equilíbrio entre precisão, eficiência e escalabilidade que pode ser amplamente aplicado a: 

• Classificação: previsão de categorias ou classes (por exemplo: detecção de spam e de fraudes).
• Regressão: previsão de valores numéricos (por exemplo:: previsão de preço de ações, previsão de vendas). 
• Ranking: classificação de itens com base em sua relevância ou importância (por exemplo: resultados de buscas e recomendações).

Outras técnicas de boosting, como AdaBoost e XGBoost, também são métodos populares de aprendizado em conjunto. Veja, a seguir, como esses modelos funcionam.

O XGBoost é uma versão turbinada do Gradient Boosting, projetada para oferecer velocidade de processamento e escalabilidade ideais. O XGBoost utiliza vários núcleos da CPU para permitir aprendizado paralelo durante o treinamento do modelo.

O AdaBoost, ou boosting adaptativo, ajusta uma sucessão de modelos fracos aos dados. Esses modelos fracos geralmente são árvores de decisão, uma árvore de decisão com uma única divisão e dois nós terminais. Essa técnica funciona de forma recursiva, identificando pontos de dados classificados incorretamente e ajustando-os de modo automático com o objetivo de reduzir erros de treinamento. O AdaBoost repete esse processo até gerar o preditor mais forte.