机器学习中Bagging和Boosting的区别

机器学习中Bagging和Boosting的区别

【机器学习】Boosting和Bagging的差别
boosting和bagging的差别：

bagging中的模型是强模型，偏差低，方差高。目标是降低方差。在bagging中，每个模型的bias和variance近似相同，但是互相相关性不太高，因此一般不能降低Bias，而一定程度上能降低variance。典型的bagging是random forest。

boosting中每个模型是弱模型，偏差高，方差低。目标是通过平均降低偏差。boosting的基本思想就是用贪心法最小化损失函数，显然能降低偏差，但是通常模型的相关性很强，因此不能显著降低variance。典型的Boosting是adaboost，另外一个常用的并行Boosting算法是GBDT（gradient boosting decision tree）。这一类算法通常不容易出现过拟合。

过拟合的模型，通常variance比较大，这时应该用bagging对其进行修正。
欠拟合的模型，通常Bias比较大，这时应该可以用boosting进行修正。使用boosting时， 每一个模型可以简单一些。
金融常见的问题，是只用linear regression，这样一般来讲是欠拟合的，因此需要引入一些非线性的特征，欠拟合的模型可以先使用boosting尝试一下，如果效果不好，再使用其他的方法。过拟合的方法，通常使用bagging是会有一定的作用的。

两种不同的集成算法，bagging采用重复取样:boostrap 每个个体分类器所采用的训练样本都是从训练集中按等概率抽取的，因此bagging的各子网能够很好的覆盖训练样本空间，从而有着良好的稳定性。 而boosting注重分类错误的样本，将个体子网分类错误的训练样本的权重提高，降低分类错误的样本权重，并依据修改后的样本权重来生成新的训练样本空间并用来训练下一个个体分类器。然而，由于boosting算法可能会将噪声样本或分类边界样本的权重过分累积，因此boosting很不稳定，但其在通常情况下，其泛化能力是最理想的集成算法之一。 你得自己去查文献，别来这问，这没人做学术的，我也是偶尔看到你的提问。