集成学习：基础与算法

　　第1章 绪 论 1
　　1.1 基本概念 1
　　1.2 常用学习算法 3
　　1.2.1 线性判别分析 3
　　1.2.2 决策树 4
　　1.2.3 神经网络 6
　　1.2.4 朴素贝叶斯 8
　　1.2.5 k-近邻 9
　　1.2.6 支持向量机和核方法 9
　　1.3 评估和对比 12
　查看完整　　

　　周志华，分别于1996年6月、1998年6月和2000年12月于 南京大学计算机科学与技术系获学士、硕士和博士学位。2001年1月起留校任教，2002年破格晋升副教授，2003年获 国家杰出青年科学基金，随后被聘任为教授，2004年获博士生导师资格，2006年入选长江学者特聘教授。现任南京大学 校学术委员会委员、计算机科学与技术系 主任、人工智能学院 院长、计算机软件新技术国家重点实验室 常务副主任、机器学习与数据挖掘研究所 (LAMDA) 所长。美国计算机学会(ACM)、美国科学促进会(AAAS)、国际人工智能学会 (AAAI) 、国际电气电子工程师学会 (IEEE) 、国际模式识别学会 (IAPR)、国际工程技术学会 (IET/IEE) 、中国计算机学会(CCF)、中国人工智能学会(CAAI) 等学会的会士 (Fellow)，欧洲科学院 外籍院士。高等学校计算机类专业教学指导委员会副主任、证监会科技监管专家咨询委员会委员、南京市政府人工智能产业顾…
　查看完整　　

　　集成学习方法是一类先进的机器学习方法，这类方法训练多个学习器并将它们结合起来解决一个问题，在实践中获得了巨大成功。全书分为三部分。*部分主要介绍集成学习的背景知识；第二部分主要介绍集成学习方法的核心知识，包括Boosting、Bagging、Random Forests等经典算法，平均、投票和Stacking等模型和方法、相关理论分析工作，以及多样性度量和增强方面的进展。第三部分介绍集成学习方法的进阶议题，包括集成修剪、聚类集成和集成学习方法在半监督学习、主动学习、代价敏感学习、类别不平衡学习，以及提升可理解性方面的进展。此外，本书还在每章中的“拓展阅读”部分提供了相关的进阶内容。本书适合对集成学习方法感兴趣的研究人员、学生和实践者阅读。

　　第1章 绪 论 1
　　1.1 基本概念 1
　　1.2 常用学习算法 3
　　1.2.1 线性判别分析 3
　　1.2.2 决策树 4
　　1.2.3 神经网络 6
　　1.2.4 朴素贝叶斯 8
　　1.2.5 k-近邻 9
　　1.2.6 支持向量机和核方法 9
　　1.3 评估和对比 12
　　1.4 集成学习方法 14
　　1.5 集成学习方法的应用 16
　　1.6 拓展阅读 19
　　第2章Boosting 21
　　2.1 Boosting 过程 21
　　2.2 AdaBoost 算法 22
　　2.3 说明性举例 26
　　2.4 理论探讨 29
　　2.4.1 基本分析 29
　　2.4.2 间隔解释 30
　　2.4.3 统计视角 32
　　2.5 多分类问题 35
　　2.6 容噪能力 37
　　2.7 拓展阅读 40
　　第3章Bagging 43
　　3.1 两种集成范式 43
　　3.2 Bagging 算法 44
　　3.3 说明性举例 45
　　3.4 理论探讨 48
　　3.5 随机树集成 52
　　3.5.1 随机森林 52
　　3.5.2 随机化谱 55
　　3.5.3 随机森林用于密度估计 56
　　3.5.4 随机森林用于异常检测 58
　　3.6 拓展阅读 60
　　第4章结合方法 61
　　4.1 结合带来的益处 61
　　4.2 均值法 62
　　4.2.1 简单平均法 62
　　4.2.2 加权平均法 63
　　4.3 投票法 65
　　4.3.1 多数投票法 65
　　4.3.2 相对多数投票法 66
　　4.3.3 加权投票法 67
　　4.3.4 软投票法 68
　　4.3.5 理论探讨 70
　　4.4 学习结合法 76
　　4.4.1 Stacking 76
　　4.4.2 无限集成 78
　　4.5 其他结合方法 79
　　4.5.1 代数法 80
　　4.5.2 行为知识空间法 81
　　4.5.3 决策模板法 81
　　4.6 相关方法 82
　　4.6.1 纠错输出编码法 82
　　4.6.2 动态分类器选择法 85
　　4.6.3 混合专家模型 86
　　4.7 拓展阅读 87
　　第5章多样性 91
　　5.1 集成多样性 91
　　5.2 误差分解 92
　　5.2.1 误差-分歧分解 92
　　5.2.2 偏差-方差-协方差分解 94
　　5.3 多样性度量 96
　　5.3.1 成对度量 96
　　5.3.2 非成对度量 97
　　5.3.3 小结和可视化 100
　　5.3.4 多样性度量的局限 101
　　5.4 信息论多样性 102
　　5.4.1 信息论和集成 102
　　5.4.2 交互信息多样性 103
　　5.4.3 多信息多样性 104
　　5.4.4 估计方法 105
　　5.5 多样性增强 106
　　5.6 拓展阅读 108
　　第6章集成修剪 109
　　6.1 何谓集成修剪 109
　　6.2 多比全好 110
　　6.3 修剪方法分类 113
　　6.4 基于排序的修剪 114
　　6.5 基于聚类的修剪 117
　　6.6 基于优化的修剪 117
　　6.6.1 启发式优化修剪 118
　　6.6.2 数学规划修剪 118
　　6.6.3 概率修剪 121
　　6.7 拓展阅读 122
　　第7章聚类集成 125
　　7.1 聚类 125
　　7.1.1 聚类方法 125
　　7.1.2 聚类评估 127
　　7.1.3 为什么要做聚类集成 129
　　7.2 聚类集成方法分类 130
　　7.3 基于相似度的方法 132
　　7.4 基于图的方法 133
　　7.5 基于重标记的方法 136
　　7.6 基于变换的方法 140
　　7.7 拓展阅读 143
　　第8章进阶议题 145
　　8.1 半监督学习 145
　　8.1.1 未标记数据的效用 145
　　8.1.2 半监督学习的集成学习方法 146
　　8.2 主动学习 151
　　8.2.1 人为介入的效用 151
　　8.2.2 基于集成的主动学习 152
　　8.3 代价敏感学习 153
　　8.3.1 不均等代价下的学习 153
　　8.3.2 代价敏感学习的集成方法 154
　　8.4 类别不平衡学习 158
　　8.4.1 类别不平衡 158
　　8.4.2 类别不平衡学习的性能评估 160
　　8.4.3 类别不平衡学习的集成方法 163
　　8.5 提升可解释性 166
　　8.5.1 集成约简 166
　　8.5.2 规则抽取 167
　　8.5.3 可视化 168
　　8.6 未来的研究方向 169
　　8.7 拓展阅读 171
　　参考文献 173
　　索引 203
^ 收 起　　

　　周志华，分别于1996年6月、1998年6月和2000年12月于 南京大学计算机科学与技术系获学士、硕士和博士学位。2001年1月起留校任教，2002年破格晋升副教授，2003年获 国家杰出青年科学基金，随后被聘任为教授，2004年获博士生导师资格，2006年入选长江学者特聘教授。现任南京大学 校学术委员会委员、计算机科学与技术系 主任、人工智能学院 院长、计算机软件新技术国家重点实验室 常务副主任、机器学习与数据挖掘研究所 (LAMDA) 所长。美国计算机学会(ACM)、美国科学促进会(AAAS)、国际人工智能学会 (AAAI) 、国际电气电子工程师学会 (IEEE) 、国际模式识别学会 (IAPR)、国际工程技术学会 (IET/IEE) 、中国计算机学会(CCF)、中国人工智能学会(CAAI) 等学会的会士 (Fellow)，欧洲科学院 外籍院士。高等学校计算机类专业教学指导委员会副主任、证监会科技监管专家咨询委员会委员、南京市政府人工智能产业顾问，江苏省政协十、十一、十二届委员，江苏省青联十一届副主席等。主要从事人工智能、机器学习、数据挖掘等领域的研究工作。李楠，博士，毕业于南京大学计算机系机器学习与数据挖掘研究所(LAMDA)，师从周志华教授从事机器学习研究。发表论文20余篇，并获国际数据挖掘竞赛冠军及论文奖。先后供职于阿里巴巴iDST/达摩院和微软亚洲互联网工程院，主要从事机器学习在互联网搜索、和广告中的研究和应用工作。
^ 收 起　　

　　集成学习方法是一类先进的机器学习方法，这类方法训练多个学习器并将它们结合起来解决一个问题，在实践中获得了巨大成功。全书分为三部分。*部分主要介绍集成学习的背景知识；第二部分主要介绍集成学习方法的核心知识，包括Boosting、Bagging、Random Forests等经典算法，平均、投票和Stacking等模型和方法、相关理论分析工作，以及多样性度量和增强方面的进展。第三部分介绍集成学习方法的进阶议题，包括集成修剪、聚类集成和集成学习方法在半监督学习、主动学习、代价敏感学习、类别不平衡学习，以及提升可理解性方面的进展。此外，本书还在每章中的“拓展阅读”部分提供了相关的进阶内容。本书适合对集成学习方法感兴趣的研究人员、学生和实践者阅读。