Adaptive Boosting(自适应提升)基于Boosting思想实现的一种集成学习；算法核心思想是：通过逐步提高那些被前一步分类错误的样本的权重来训练一个强分类器。
本章会讲解Adaboost算法推导过程，并用一个数值实例带着读者计算，使读者能够完全理解这个训练弱分类器至强分类器构建的过程。
\(H(x) = \text{sign}(\sum_{i=1}^m a_i h_i(x))\)
\begin{aligned}
a_t &= \frac{1}{2} \ln\left(\frac{1-\varepsilon_t}{\varepsilon_t}\right)
\end{aligned}
\(a_t\) 为模型权重
\(\varepsilon_t\) 表示第 t 个弱学习器的错误率
其中 \(Z_t\) 为归一化值(所有样本权重总和)
\(D_t(x)\)为样本权重
\(a_t\) 为模型权重
已知训练数据见下面表格，假设弱分类器由 x 产生，预测结果使该分类器在训练数据集上的分类误差率最低，试用 Adaboost算法学习一个强分类器。
| 序号 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
|---|---|---|---|---|---|---|---|---|---|---|
| x | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 |
| y | 1 | 1 | 1 | -1 | -1 | -1 | 1 | 1 | 1 | -1 |
初始化 10 个样本的权重，每个样本的权重为：0.1
| x | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 |
|---|---|---|---|---|---|---|---|---|---|---|
| w | 0.1 | 0.1 | 0.1 | 0.1 | 0.1 | 0.1 | 0.1 | 0.1 | 0.1 | 0.1 |
| y | 1 | 1 | 1 | -1 | -1 | -1 | 1 | 1 | 1 | -1 |
\(1/2 * \text{np.log}((1-0.3)/0.3)=0.4236\)
| x | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 |
|---|---|---|---|---|---|---|---|---|---|---|
| w | 0.07143 | 0.07143 | 0.07143 | 0.07143 | 0.07143 | 0.07143 | 0.16667 | 0.16667 | 0.16667 | 0.07143 |
| y | 1 | 1 | 1 | -1 | -1 | -1 | 1 | 1 | 1 | -1 |
此时错误率的计算公式存在变化，不再是10个里面错5个，错误率就算0.5；
而是要看错的哪五个，错误率用对应样本权重相加（因为之前已经归一化了，所以十个样本权重相加还是为1），这样可以保证被第一个分类器分类错误的样本获得更高的关注度。
\(1/2 * \text{np.log}((1-0.21429)/0.21429)=0.64963\)
1.分类正确的样本：1、2、3、7、8、9、10，其计算公式为：\(e^{-a_t}\)，则正确样本权重变化系数为：\(e^{-0.64963} = 0.5222\)，
2.分类错误的样本：4、5、6，其权重调整系数为：\(e^{-0.0.64963} = 1.9148\)
3.分类正确样本权重值（用原来的权重乘权重调整系数）：
3.1 样本 0、1、2、9 为：0.0373（0.07143乘0.5222）
3.2 样本 6、7、8 为：0.087（0.16667乘0.5222）
4.分类错误样本权重值：0.1368
5.归一化 \(Z_t\) 值为：\(0.0373 \times 4 + 0.087 \times 3 + 0.1368 \times 3 = 0.8206\)
6.最终权重（用原来的权重除以归一化\(Z_t\)）：
6.1 样本 0、1、2、9 为：0.0455
6.2 样本 6、7、8 为：0.1060
6.3 样本 3、4、5 为：0.1667
| x | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 |
|---|---|---|---|---|---|---|---|---|---|---|
| w | 0.0455 | 0.0455 | 0.0455 | 0.16667 | 0.16667 | 0.16667 | 0.1060 | 0.1060 | 0.1060 | 0.0455 |
| y | 1 | 1 | 1 | -1 | -1 | -1 | 1 | 1 | 1 | -1 |
该模型由构建的三个弱学习器，进行加权相加。各个弱学习器的权重为之前计算的模型权重
\(H(x) = \text{sign}(0.4236 * h_1(x) + 0.64963 * h_2(x) + 0.75515 * h_3(x)) \)
若\(H(x)\)的值大于0则归于正类；\(H(x)\)的值小于0归于负类
\(X = 3\)带入公式为：\(0.4236\times(-1) + 0.64963\times(1) + 0.75514\times(-1) = -0.52537 < 0\)，属于负类
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。