【机器学习】分类器组合——AdaBoost
AdaBoost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。
AdaBoost其实只是boost的一个特例。
一、流程图
1. 要训练出多个弱分类器（图中为3个），每个弱分类器由不同权重的样本（图中为5个训练样本）训练得到（其中第一个弱分类器对应输入样本的权值是一样的），而每个弱分类器对最终分类结果的作用也不同，是通过加权平均输出的，训练过程如下.
2. 设每个样本训练维度为2（决策树只有2个选择属性），决策树选择其中一个属性。然后计算这个属性中的最佳值用来分类。
二、具体训练算法过程
1.训练第一个分类器（弱分类器为单层决策树），样本的权值D为相同的权值，通过一个弱分类器得到这5个样本的分类预测标签、与给定的真实值对比，有
误差ε=未正确分类分类数/总样本数
如果某个样本预测错误，则它对应的错误值为该样本的权重，如果分类正确，则错误值为0. 最后累加5个样本的错误率之和，记为ε。
2. 通过ε来计算该弱分类器的权重α，公式如下：
3. 通过α来计算训练下一个弱分类器样本的权重D，如果对应样本分类正确，则减小该样本的权重，公式为：
如果样本分类错误，则增加该样本的权重，公式为：
4. 循环步骤1,2,3来继续训练多个分类器，只是其D值不同而已。
三、测试过程
输入一个样本到训练好的每个弱分类中，则每个弱分类都对应一个输出标签，然后该标签乘以对应的α，最后求和得到值的符号即为预测标签值。
四、性能
优点：
1.低泛化误差，泛化错误率低，易编码，可以应用在大部分分类器上；
2.容易实现，分类准确率较高，无参数调整；
缺点：
对离群点outlier较敏感；
智能推荐
注意！
本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系我们删除。