Mostrar código-fonte de Gradient boosting

O '''''gradient boosting''''' é uma técnica de [[aprendizado de máquina]] para problemas de [[Regressão (estatística)|regressão]] e [[Classificação estatística|classificação]], que produz um modelo de previsão na forma de um ''ensemble'' de modelos de previsão fracos, geralmente árvores de decisão. Ela constrói o modelo em etapas, como outros métodos de ''boosting'', e os generaliza, permitindo a otimização de uma [[função de perda]] [[Função diferenciável|diferenciável]] arbitrária.

A ideia de ''gradient boosting'' originou-se na observação de [[Leo Breiman]] de que o ''boosting'' pode ser interpretado como um [[algoritmo]] de otimização em uma função de custo adequada.<ref name="Breiman1997">{{Citar periódico|titulo=Arcing The Edge|url=https://statistics.berkeley.edu/sites/default/files/tech-reports/486.pdf|jornal=Technical Report 486}}</ref> Algoritmos explícitos de ''gradient boosting'' de regressão foram desenvolvidos posteriormente por Jerome H. Friedman,<ref name="Friedman1999a">{{Citar periódico|titulo=Greedy Function Approximation: A Gradient Boosting Machine|url=https://statweb.stanford.edu/~jhf/ftp/trebst.pdf}}</ref><ref name="Friedman1999b">{{Citar periódico|titulo=Stochastic Gradient Boosting|url=https://statweb.stanford.edu/~jhf/ftp/stobst.pdf}}</ref> simultaneamente com a perspectiva mais geral de ''gradient boosting'' funcional de Llew Mason, Jonathan Baxter, Peter Bartlett e Marcus Frean.<ref name="MasonBaxterBartlettFrean1999a"> {{Citar conferência|ano=1999|editor=S.A. Solla and T.K. Leen and K. Müller|páginas=512–518|url=http://papers.nips.cc/paper/1766-boosting-algorithms-as-gradient-descent.pdf|título=Boosting Algorithms as Gradient Descent}}</ref><ref name="MasonBaxterBartlettFrean1999b"> {{Citar periódico|titulo=Boosting Algorithms as Gradient Descent in Function Space|url=https://www.maths.dur.ac.uk/~dma6kp/pdf/face_recognition/Boosting/Mason99AnyboostLong.pdf|arquivodata=2018-12-22}}</ref> Os dois últimos trabalhos introduziram a visão dos algoritmos de ''boosting'' como algoritmos iterativos de ''descida de gradiente funcionais,'' ou seja, algoritmos que otimizam uma função de custo sobre um espaço de funções, escolhendo iterativamente uma função (hipótese fraca) que aponta na direção oposta do gradiente. Essa visão dos algoritmos de ''boosting'' em termos de gradientes funcionais levou ao desenvolvimento de algoritmos de ''boosting'' em muitas áreas do aprendizado de máquina e da estatística além da regressão e classificação.

== Introdução informal ==
(Esta seção segue a exposição de ''gradient boosting'' por Li.<ref>{{Citar web|url=http://www.chengli.io/tutorials/gradient_boosting.pdf|titulo=A Gentle Introduction to Gradient Boosting|autor=Cheng Li}}</ref> )

Como outros métodos de ''boosting'', o ''gradient boosting'' combina "modelos de aprendizado" fracos em um único modelo de aprendizagem forte, de maneira iterativa. Isso pode ser explicado mais facilmente no contexto da [[Regressão (estatística)|regressão]] por mínimos quadrados, em que o objetivo é "ensinar" um modelo <math>F</math> a prever valores da forma <math>\hat{y} = F(x)</math> minimizando o [[Erro quadrático médio|erro médio quadrático]] <math>\tfrac{1}{n}\sum_i(\hat{y}_i - y_i)^2,</math> em que o índice <math> i </math> percorre algum conjunto de treinamento de tamanho <math> n </math> dos valores reais da variável de saída <math>y:</math>

* <math>\hat y_i = </math> o valor previsto <math>F(x)</math>
* <math>y_i =</math> o valor real
* <math>n</math> o número de amostras em <math>y</math>

Agora, vamos considerar um algoritmo de ''gradient boosting'' com <math>M</math> etapas. Em cada etapa <math>m</math> ( <math>1 \le m \le M</math> ) de ''gradient boosting'', considere algum modelo imperfeito <math>F_m</math> (para um <math>m</math> baixo, tal modelo pode simplesmente retornar <math>\hat y_i = \bar y,</math> isto é, a média de <math>y</math> ) Para melhorar <math>F_m,</math> o algoritmo deve adicionar algum novo estimador, <math>h_m(x).</math> Portanto,

<math display="block">
F_{m+1}(x) = F_m(x) + h_m(x) = y
</math>

ou, equivalentemente,

<math display="block">
h_m(x) = y - F_m(x)
.</math>

Portanto, o ''gradient boosting'' ajustará {{Mvar|h}} ao ''[[Teoria dos erros|resíduo]]'' <math>y - F_m(x).</math> Como em outras variantes de ''boosting'', cada <math>F_{m+1}</math> tenta corrigir os erros de seu antecessor <math>F_m.</math> Uma generalização dessa ideia para [[Função de perda|funções de perda]] que não sejam a de erro quadrático, e para problemas de classificação e ordenação segue da observação de que os resíduos <math>y - F(x)</math> para um determinado modelo são os opostos dos gradientes (em relação a <math>F(x)</math> ) da função de perda de erros quadráticos <math>\frac{1}{2}(y - F(x))^2.</math> Portanto, o ''gradient boosting'' é um algoritmo de [[Método do gradiente|descida de gradiente]] e generalizá-lo implica em "conectar" uma função de perda diferente e seu gradiente.

== Algoritmo ==
Em muitos problemas de [[aprendizado supervisionado]], há uma variável de saída {{Mvar|y}} e um vetor de variáveis de entrada {{Mvar|x}} descritas por meio de uma [[distribuição de probabilidade conjunta]] <math>P(x,y).</math> Usando um conjunto de treinamento <math>\{ (x_1,y_1), \dots, (x_n,y_n) \} </math> de valores conhecidos de {{Mvar|x}} e valores correspondentes de {{Mvar|y}}, o objetivo é encontrar uma aproximação <math>\hat{F}(x)</math> para uma função <math>F(x)</math> que minimiza o [[valor esperado]] de alguma [[função de perda]] especificada <math>L(y, F(x)):</math>

<math display="block">\hat{F} = \underset{F}{\arg\min} \, \mathbb{E}_{x,y}[L(y, F(x))].</math>

O método de ''gradient boosting'' assume um {{Mvar|y}} com valores reais e busca uma aproximação <math>\hat{F}(x)</math> na forma de uma soma ponderada de funções <math>h_i (x)</math> de alguma classe <math>\mathcal{H},</math> chamada de modelos de aprendizagem básicos (ou fracos):

<math display="block">\hat{F}(x) = \sum_{i=1}^M \gamma_i h_i(x) + \mbox{const}.</math>

De acordo com o princípio de minimização de risco empírico, o método tenta encontrar uma aproximação <math>\hat{F}(x)</math> que minimiza o valor médio da função de perda no conjunto de treinamento, ou seja, minimiza o risco empírico. Isso é feito começando com um modelo, consistindo de uma função constante <math>F_0(x)</math> e expandindo-o gradualmente de maneira [[Algoritmo guloso|gananciosa]]:

<math display="block">F_0(x) = \underset{\gamma}{\arg\min} {\sum_{i=1}^n {L(y_i, \gamma)}},</math><math display="block">F_m(x) = F_{m-1}(x) + \underset{h_m \in \mathcal{H}}{\operatorname{arg\,min}} \left[{\sum_{i=1}^n {L(y_i, F_{m-1}(x_i) + h_m(x_i))}}\right],</math>

em que <math> h_m \in \mathcal{H} </math> é uma função de modelo de aprendizagem básico.

Infelizmente, escolher a melhor função {{Mvar|h}} em cada etapa para uma função de perda arbitrária {{Mvar|L}} é, em geral, um problema de otimização computacionalmente inviável. Portanto, a abordagem se restringe a uma versão simplificada do problema.

A ideia é aplicar uma etapa de [[Método do gradiente|máximo declive]] a esse problema de minimização (descida de gradiente funcional). Se considerarmos o caso contínuo, ou seja, aquele em que <math>\mathcal{H} </math> é o conjunto de funções diferenciáveis arbitrárias em <math> \R,</math> atualizaríamos o modelo de acordo com as seguintes equações

: <math display="block">F_m(x) = F_{m-1}(x) - \gamma_m \sum_{i=1}^n {\nabla_{F_{m-1}} L(y_i, F_{m-1}(x_i))},</math>

em que as derivadas são obtidas com relação às funções <math> F_i </math> para <math> i \in \{ 1,..,m \}</math> e <math>\gamma_m</math> é o comprimento do passo. No entanto, no caso discreto, ou seja, quando o <math>\mathcal{H}</math> é finito, escolhemos a função candidata {{Mvar|h}} mais próxima do gradiente de {{Mvar|L}} para a qual o coeficiente {{Mvar|&gamma;}} pode então ser calculado com o auxílio da [[pesquisa linear]] nas equações acima. Observe que essa abordagem é uma [[heurística]] e, portanto, não produz uma solução exata para o problema em questão, e sim uma aproximação. Em [[pseudocódigo]], o método genérico de ''gradient boosting'' é: <ref name="Friedman1999a">{{Citar periódico|titulo=Greedy Function Approximation: A Gradient Boosting Machine|url=https://statweb.stanford.edu/~jhf/ftp/trebst.pdf}}</ref><ref name="hastie">{{Citar livro|título=The Elements of Statistical Learning|ultimo=Hastie|primeiro=T.|ultimo2=Tibshirani|primeiro2=R.|ultimo3=Friedman|primeiro3=J. H.|ano=2009|localização=New York|páginas=337–384|capitulo=10. Boosting and Additive Trees|isbn=978-0-387-84857-0|edição=2nd|publicação=Springer}}</ref> {{Iniciar quadro|blue}}
Entrada: conjunto de treino <math>\{(x_i, y_i)\}_{i=1}^n,</math> uma função de perda diferenciável <math>L(y, F(x)),</math> número de iterações{{Mvar|M}}.

Algoritmo:

# Inicialize o modelo com um valor constante:
#: <math>F_0(x) = \underset{\gamma}{\arg\min} \sum_{i=1}^n L(y_i, \gamma).</math>
# Para {{Mvar|m}} = 1 até {{Mvar|M}}:
## Calcule os chamados ''pseudo-resíduos'':
##: <math>r_{im} = -\left[\frac{\partial L(y_i, F(x_i))}{\partial F(x_i)}\right]_{F(x)=F_{m-1}(x)} \quad \mbox{for } i=1,\ldots,n.</math>
## Ajuste um modelo de aprendizagem básico (ou fraco, tal como uma árvore) fechado sob escala <math>h_m(x)</math> aos pseudo-resíduos, isto é, treine-o utilizando o conjunto de treino <math>\{(x_i, r_{im})\}_{i=1}^n.</math>
## Calcule o multiplicador <math>\gamma_m</math> através da resolução de um [[Pesquisa linear|problema de otimização unidimensional]]:
##: <math>\gamma_m = \underset{\gamma}{\operatorname{arg\,min}} \sum_{i=1}^n L\left(y_i, F_{m-1}(x_i) + \gamma h_m(x_i)\right).</math>
## Atualize o modelo:
##: <math>F_m(x) = F_{m-1}(x) + \gamma_m h_m(x).</math>
# Saída <math>F_M(x).</math>
{{Fim quadro}}

== ''Gradient boosting'' em árvore ==
O ''gradient boosting'' normalmente é utilizado com árvores de decisão (especialmente árvores CART ) de um tamanho fixo como modelos de aprendizagem básicos. Para este caso especial, Friedman propõe uma modificação no método de ''gradient boosting'' que melhora a qualidade do ajuste de cada modelo básico.

O ''gradient boosting'' genérico na ''m-'' ésima etapa ajustaria uma uma árvore de decisão <math>h_m(x)</math> a pseudo-resíduos. Seja <math>J_{m}</math> a sua quantidade de folhas. A árvore divide o espaço de entrada em <math>J_{m}</math> regiões disjuntas <math>R_{1m}, \ldots, R_{J_{m}m}</math> e prevê um valor constante em cada região. Usando a [[Função indicadora|notação]] do indicador, a saída de <math>h_m(x)</math> para a entrada ''x'' pode ser escrita como a soma:

<math display="block">h_m(x) = \sum_{j=1}^{J_{m}} b_{jm} \mathbf {1}_{R_{jm}}(x),</math>

onde <math>b_{jm}</math> é o valor previsto na região <math>R_{jm}.</math> <ref>No caso de árvores CART usuais, as árvores são ajustadas utilizando a função de perda de mínimos quadrados, e então o coeficiente <math>b_{jm}</math> para a região <math>R_{jm}</math> é igual a apenas o valor da variável de saída, ponderada sobre otas as instâncias de treino em <math>R_{jm}.</math></ref>

Então os coeficientes <math>b_{jm}</math> são multiplicados por algum valor <math>\gamma_m,</math> escolhido usando a pesquisa linear para minimizar a função de perda e o modelo é atualizado da seguinte forma:

<math display="block">
  F_m(x) = F_{m-1}(x) + \gamma_m h_m(x), \quad
  \gamma_m = \underset{\gamma}{\operatorname{arg\,min}} \sum_{i=1}^n L(y_i, F_{m-1}(x_i) + \gamma h_m(x_i)).
 </math>

Friedman propõe modificar esse algoritmo para escolher um valores ótimos <math>\gamma_{jm}</math> separados para cada uma das regiões da árvore, em vez de um único <math>\gamma_m</math> para a árvore inteira. Ele chama o algoritmo modificado de "''TreeBoost''". Os coeficientes <math>b_{jm}</math> do procedimento de ajuste de árvore podem então ser simplesmente descartados e a regra de atualização do modelo se torna:

<math display="block">
  F_m(x) = F_{m-1}(x) + \sum_{j=1}^{J_{m}} \gamma_{jm} \mathbf {1}_{R_{jm}}(x), \quad
  \gamma_{jm} = \underset{\gamma}{\operatorname{arg\,min}} \sum_{x_i \in R_{jm}} L(y_i, F_{m-1}(x_i) + \gamma).
 </math>

=== Tamanho das árvores ===
O valor de <math>J,</math> que é o número de nós terminais nas árvores, é o parâmetro do método que pode ser ajustado para um conjunto de dados disponível. Ele controla o nível máximo permitido de interação entre variáveis no modelo. Com <math>J = 2</math> (stumps de decisão), nenhuma interação entre variáveis é permitida. Com <math>J = 3</math> o modelo pode incluir efeitos da interação entre até duas variáveis e assim por diante.

Hastie et al.<ref name="hastie">{{Citar livro|título=The Elements of Statistical Learning|ultimo=Hastie|primeiro=T.|ultimo2=Tibshirani|primeiro2=R.|ultimo3=Friedman|primeiro3=J. H.|ano=2009|localização=New York|páginas=337–384|capitulo=10. Boosting and Additive Trees|isbn=978-0-387-84857-0|edição=2nd|publicação=Springer}}</ref> comenta que normalmente <math>4 \leq J \leq 8</math> funciona bem para o ''boosting'' e os resultados são bastante insensíveis à escolha de <math>J</math> nesta faixa, <math>J = 2</math> é insuficiente para muitas aplicações e é improvável a necessidade de <math>J > 10.</math>

== Regularização ==
Um ajuste excessivo ao conjunto de treinamento pode levar à degradação da capacidade de generalização do modelo. Várias técnicas de [[regularização]] reduzem esse efeito de [[sobreajuste]] restringindo o procedimento de ajuste.

Um parâmetro de regularização natural é o número ''M'' de iterações de ''gradient boosting'' (ou seja, o número de árvores no modelo quando o modelo de aprendizagem básico é uma árvore de decisão). Aumentar ''M'' reduz o erro no conjunto de treinamento, mas configurá-lo alto demais pode levar ao sobreajuste. Um valor ideal de ''M'' frequentemente é selecionado pelo monitoramento do erro de previsão em um conjunto de dados de validação separado. Além deste controle do valor de ''M'', são utilizadas várias outras técnicas de regularização.

Outro parâmetro de regularização é a profundidade das árvores. Quanto maior é esse valor, maior é a probabilidade de o modelo superestimar os dados de treinamento.

=== Encolhimento ===
Uma parte importante do método de ''gradient boosting'' é a regularização por encolhimento, que consiste em modificar a regra de atualização da seguinte maneira:

<math display="block">F_m(x) = F_{m-1}(x) + \nu \cdot \gamma_m h_m(x), \quad 0 < \nu \leq 1,</math>

em que o parâmetro <math>\nu</math> é chamado de "taxa de aprendizado".

Empiricamente, verificou-se que o uso de taxas de aprendizado pequenas (tais como <math>\nu < 0.1</math> ) produz melhorias drásticas na capacidade de generalização dos modelos em relação ao ''gradient boosting'' sem encolhimento ( <math>\nu = 1</math> ) <ref name="hastie">{{Citar livro|título=The Elements of Statistical Learning|ultimo=Hastie|primeiro=T.|ultimo2=Tibshirani|primeiro2=R.|ultimo3=Friedman|primeiro3=J. H.|ano=2009|localização=New York|páginas=337–384|capitulo=10. Boosting and Additive Trees|isbn=978-0-387-84857-0|edição=2nd|publicação=Springer}}</ref> No entanto, isso tem como preço o aumento do [[Complexidade de Tempo|tempo computacional]] durante o treinamento e as [[Recuperação de informação|consultas]]: uma taxa de aprendizado mais baixa exige mais iterações.

=== ''Gradient boosting'' estocástico ===
Pouco depois da introdução do ''gradient boosting'', Friedman propôs uma pequena modificação no algoritmo, motivada pelo método de agregação de bootstrap ("bagging") de [[Leo Breiman|Breiman]].<ref name="Friedman1999b">{{Citar periódico|titulo=Stochastic Gradient Boosting|url=https://statweb.stanford.edu/~jhf/ftp/stobst.pdf}}</ref> Especificamente, ele propôs que, a cada iteração do algoritmo, um modelo de aprendizagem básico deveria ser ajustado a uma subamostra do conjunto de treinamento extraída aleatoriamente sem substituição.<ref>Note que isso é diferente de ''bagging'', que faz uma amostragem com substituição por utilizar amostras do mesmo tamanho do conjunto de traino.</ref> Friedman observou uma melhoria substancial na precisão do ''gradient boosting'' com esta modificação.

O tamanho da subamostra é uma fração constante <math>f</math> do tamanho do conjunto de treinamento. Quando <math>f = 1,</math> o algoritmo é determinístico e idêntico ao descrito acima. Valores menores de <math>f</math> introduzem aleatoriedade no algoritmo e ajudam a evitar o [[sobreajuste]], agindo como um tipo de regularização. O algoritmo também se torna mais rápido, porque as árvores de regressão precisam ser ajustadas a conjuntos de dados menores a cada iteração. Friedman<ref name="Friedman1999b">{{Citar periódico|titulo=Stochastic Gradient Boosting|url=https://statweb.stanford.edu/~jhf/ftp/stobst.pdf}}</ref> obteve que <math>0.5 \leq f \leq 0.8 </math> leva a bons resultados para conjuntos de treinamento de tamanho pequeno e moderado. Portanto, <math>f</math> normalmente é definido como 0,5, o que significa que metade do conjunto de treinamento é usada para criar cada modelo de aprendizado básico.

Além disso, como na ''bagging'', a subamostragem permite que seja definida um erro fora da ''bolsa'' da melhoria do desempenho das previsões, avaliando as previsões nas observações que não foram usadas na construção do próximo modelo de aprendizado básico. As estimativas fora da ''bolsa'' ajudam a evitar a necessidade de um conjunto de dados de validação independente, mas geralmente subestimam a melhoria real do desempenho e o número ideal de iterações.<ref name="gbm-vignette">Ridgeway, Greg (2007). [https://cran.r-project.org/web/packages/gbm/gbm.pdf Generalized Boosted Models: A guide to the gbm package.]</ref><ref>[https://www.analyticsvidhya.com/blog/2015/09/complete-guide-boosting-methods/ Learn Gradient Boosting Algorithm for better predictions (with codes in R)]</ref>

=== Número de observações em folhas ===
As implementações de ''gradient boosting'' de árvore geralmente também usam regularização limitando o número mínimo de observações nos nós terminais das árvores (esse parâmetro é chamado <code>n.minobsinnode</code> no pacote [[R (linguagem de programação)|R]] <code>gbm</code> <ref name="gbm-vignette">Ridgeway, Greg (2007). [https://cran.r-project.org/web/packages/gbm/gbm.pdf Generalized Boosted Models: A guide to the gbm package.]</ref> ). Isso é usado no processo de construção da árvore ignorando quaisquer divisões que levem a nós que contêm menos que esse número de instâncias do conjunto de treinamento.

A imposição desse limite ajuda a reduzir a [[variância]] nas previsões nas folhas.

=== Penalização da complexidade da árvore ===
Outra técnica de regularização útil para ''gradient boosting'' de [[Árvore de decisão|árvores]] é penalizar a complexidade do modelo aprendido.<ref>Tianqi Chen. [http://homes.cs.washington.edu/~tqchen/pdf/BoostedTree.pdf Introduction to Boosted Trees]</ref> A complexidade do modelo pode ser definida como o número proporcional de folhas nas árvores aprendidas. A otimização conjunta da perda e da complexidade do modelo corresponde a um algoritmo pós-poda para remover ramificações que falham em reduzir a perda por um limite. Outros tipos de regularização, como uma penalidade <math>\ell_2</math> nos valores das folhas, também podem ser adicionadas para evitar [[sobreajuste]]s.

== Uso ==
''Gradient boosting'' pode ser usado no campo da aprendizagem da classificação. Os mecanismos comerciais de busca na web [[Yahoo!|Yahoo]]<ref>Cossock, David and Zhang, Tong (2008). [http://www.stat.rutgers.edu/~tzhang/papers/it08-ranking.pdf Statistical Analysis of Bayes Optimal Subset Ranking] {{Webarchive|url=https://web.archive.org/web/20100807162855/http://www.stat.rutgers.edu/~tzhang/papers/it08-ranking.pdf|data=2010-08-07}}, page 14.</ref> e [[Yandex]]<ref name="snezhinsk">[http://webmaster.ya.ru/replies.xml?item_no=5707&ncrnd=5118 Yandex corporate blog entry about new ranking model "Snezhinsk"] (in Russian)</ref> usam variantes de ''gradient boosting'' em seus mecanismos de classificação aprendidos por máquina.

== Nomes ==
O método é conhecido por vários nomes. Friedman introduziu sua técnica de regressão como uma "''Gradient Boosting Machine''" (GBM).<ref name="Friedman1999a">{{Citar periódico|titulo=Greedy Function Approximation: A Gradient Boosting Machine|url=https://statweb.stanford.edu/~jhf/ftp/trebst.pdf}}</ref> Mason, Baxter et al. descreveram a classe abstrata generalizada de algoritmos como "''gradient boosting'' funcional".<ref name="MasonBaxterBartlettFrean1999a"/><ref name="MasonBaxterBartlettFrean1999b"> {{Citar periódico|titulo=Boosting Algorithms as Gradient Descent in Function Space|url=https://www.maths.dur.ac.uk/~dma6kp/pdf/face_recognition/Boosting/Mason99AnyboostLong.pdf|arquivodata=2018-12-22}}</ref> Friedman et al. descreveram um avanço de modelos de ''gradient boosting'' como árvores de regressão aditiva múltipla (MART);<ref>{{Citar periódico|ano=2003|titulo=Multiple Additive Regression Trees with Application in Epidemiology|jornal=Statistics in Medicine|volume=22|páginas=1365–1381|doi=10.1002/sim.1501|pmid=12704603}}</ref> Elith et al. descrevem essa abordagem como "''Boosted Regression Trees''" (BRT).<ref>{{Citar periódico|ano=2008|titulo=A working guide to boosted regression trees|jornal=Journal of Animal Ecology|volume=77|páginas=802–813|doi=10.1111/j.1365-2656.2008.01390.x|pmid=18397250|ref=Elith2008}}</ref>

Uma implementação popular de código aberto para [[R (linguagem de programação)|R]] chama o método de de "''Generalized Boosting Model''",<ref name="gbm-vignette">Ridgeway, Greg (2007). [https://cran.r-project.org/web/packages/gbm/gbm.pdf Generalized Boosted Models: A guide to the gbm package.]</ref> no entanto os pacotes que expandem esse trabalho usam o BRT.<ref>{{Citar web|titulo=Boosted Regression Trees for ecological modeling|url=https://cran.r-project.org/web/packages/dismo/vignettes/brt.pdf|publicação=CRAN}}</ref> As implementações comerciais da Salford Systems usam os nomes "''Multiple Additive Regression Trees''" (MART) e TreeNet, ambos com marca registrada.{{Carece de fontes|ciência=sim||data=agosto de 2018}}

== Ver também ==
* [[AdaBoost]]
* Floresta aleatória
* [[Xgboost|XGBoost]]
* [https://github.com/microsoft/LightGBM LightGBM]
* CatBoost
* Aprendizado em árvore de decisão

{{Referências}}

== Leitura complementar ==
* {{Citar livro|título=Hands-On Machine Learning with R|ultimo=Boehmke|primeiro=Bradley|ultimo2=Greenwell|primeiro2=Brandon|ano=2019|localização=|páginas=221–245|capitulo=Gradient Boosting|isbn=978-1-138-49568-5|publicação=Chapman & Hall}}

== Ligações externas ==
* [http://explained.ai/gradient-boosting/index.html Como explicar o ''gradient boosting'']
* [https://blog.datarobot.com/gradient-boosted-regression-trees Árvores de regressão com ''gradient boosting'']

{{Portal3|Tecnologias de informação}}

[[Categoria:Árvores de decisão]]