GBDT算法

论文:Greedy Function Approximation: A Gradient Boosting Machine (Jerome H. Friedman, 1999)

Gradient Boosing是一个算法框架,论文在这个框架下实现了多种算法。

代码:https://code.google.com/p/simple-gbdt


参考:A Gentle Introduction to Gradient Boosting (slides)

square loss -> gradient descent


参考:http://blog.csdn.net/a819825294/article/details/51188740

前向分布算法+loss函数导出GBDT算法,以及MPI并行化方法。


决策树的节点分裂都是遍历各个feature的各个阈值,但分裂条件有区别:

分类树:Info Gain, Gini 回归树:MSE, Gradient

DT优点:non-parametric,不用担心异常值outliers,或者数据是否线性可分 DT确定:容易过拟合,不能处理高维数据

循环迭代中,模型每次拟合的目标都是损失函数的梯度。这就是算法被称为「Gradient Boosting」的原因。


GBDT是non-parametric学习方法,不同于LR之类的参数学习方法,它不是去估计目标函数的参数,而是直接寻找目标函数$F(\x)$:

通常,损失函数$L(y,F(\x))$ 包括square-error、absolute error(回归) 或者 logloss(分类)。

加性模型 + 贪心算法,每步都去最小化该步的loss,即gradient。