华为云计算 云知识 集成学习

集成学习

集成学习

集成学习通常是通过构建多个学习器来完成学习任务。

  • 同质集成 : 集成中只包含同种类型的学习器;
  • 异质集成 : 集成中的个体学习器是不同的种类;

问题

一般经验中,把一些好与坏的学习器集合到一起,最终的效果是比好的要差一点,比最差的要好一点;

问题:如何获得比最好的单一学习器更好的效果

集成学习的核心思路: 要获得好的集成,个体学习器应该好而不同,即准确性和多样性;

分类

  • 个体学习器存在强依赖、必须串行生成的序列化方法,如 Boosting;
  • 不存在强依赖,可同时生成的并行化方法,如 Bagging 和随机森林;

Boosting

将一组弱学习器提升为强学习器的方法。主要关注于降低偏差。

工作机制: 先从初始训练集训练出一个基学习器,再根据基学习器的表现对训练集的样本分布进行调整,使得先前基学习器做错的样本在后续受到更多关注,使得基于调整后的样本分布来训练下一个学习器;如此重复,直至达到T个学习器;最后进行加权求和;

代表算法 AdaBoost:

  • boost指集成方法中的提升方法,每一轮迭代寻找一个合适的弱学习器添加到模型中;
  • adaptive指所有的样本都有自己的权重,初始化时一致。每一轮迭代,我们要更新所有样本的权重,模型正确判别的样本权重减小,而错误判别的样本权重增加。这就是 Adaboost 的核心。
集成学习1
  • 分类器的权重如何更新?
  • 样本分布如何更新?

Bagging 和 随机森林

主要是关注模型的多样性,实现手段就是将大的数据集采样为小的数据集,每个数据集去学习一个分类器;

Bagging

基本流程:采样出T个含有m个样本的训练集,基于每个训练集训练一个基学习器,再将这些基学习器进行结合。主要关注于降低方差,在易受样本扰动的学习器上效果更好。

算法流程如下:


集成学习2

随机森林

在以决策树为基学习器构建bagging的基础上,进一步在决策树的训练中引入随机属性选择。

结合策略

  • 平均法
  • 投票法
  • 学习法,stacking

多样性

  • 误差-分歧分解: \(E=\overline{E} -\overline{A}\)

多样性度量

  • 不合度量
  • 相关系数度量,无关为0,正相关为正,负相关为负
  • Q-统计量
  • \(\kappa\)-统计量,涉及两个概念:取得一致和偶然达成一致

多样性增强

对数据样本、输入属性、输出表示、算法参数进行扰动;

转载于:https://www.cnblogs.com/curtisxiao/p/10892847.html

上一篇:Android——关于生命周期的7个函数

下一篇:[poj3070]Fibonacci_矩乘_快速幂

51CTO

CSDN

中国开发者社区CSDN (Chinese Software Developer Network) 创立于1999年,致力为中国开发者提供知识传播、在线学习、职业发展等全生命周期服务。
相关推荐