动手学机器学习

　　第 一部分 机器学习基础
　　第 1 章 初探机器学习 2
　　1 1 人工智能的“两只手和四条腿” 2
　　1 2 机器学习是什么 2
　　1 3 时代造就机器学习的盛行 4
　　1 4 泛化能力：机器学习奏效的本质 5
　　1 5 归纳偏置：机器学习模型的“天赋” 6
　　1 6 机器学习的限制 7
　　1 7 小结 7
　　第 2 章 机器学习的数学基础 8
　查看完整　　

　　张伟楠，上海交通大学副教授，博士生导师，ACM班机器学习、强化学习课程授课教师。主要研究强化学习、数据挖掘、知识图谱、深度学习以及这些技术在推荐系统、游戏智能、机器人控制等场景中的应用，累计发表国际期刊和会议论文180余篇。赵寒烨，上海交通大学 APEX数据与知识管理实验室博士生，师从张伟楠副教授，研究方向为强化学习、机器学习。以一作身份在人工智能国际会议 NeurIPS上发表论文，并参与多本机器学习相关教材的编写。俞勇，上海交通大学ACM班创办人，上海交通大学特聘教授。2018年创办伯禹人工智能学院，在上海交通大学ACM班人工智能专业课程体系的基础上，对人工智能课程体系进行创新，致力于培养人工智能算法工程师和研究员。

　　本书系统介绍了机器学习的基本内容及其代码实现，是一本着眼于机器学习教学实践的图书。
　　本书包含4个部分：第一部分为机器学习基础，介绍了机器学习的概念、数学基础、思想方法和简单的机器学习算法；第二部分为参数化模型，讲解线性模型、神经网络等算法；第三部分为非参数化模型，主要讨论支持向量机和决策树模型及其变种；第四部分为无监督模型，涉及聚类、降维、概率图模型等多个方面。本书将机器学习理论和实践相结合，以大量示例和代码带领读者走进机器学习的世界，让读者对机器学习的研究内容、基本原理有基本认识，为后续进一步涉足深度学习打下基础。
　　本书适合对机器学习感兴趣的专业技术人员和研究人员阅读，同时适合作为人工智能相关专业机器学习课程的教材。

　　第 一部分 机器学习基础
　　第 1 章 初探机器学习 2
　　1 1 人工智能的“两只手和四条腿” 2
　　1 2 机器学习是什么 2
　　1 3 时代造就机器学习的盛行 4
　　1 4 泛化能力：机器学习奏效的本质 5
　　1 5 归纳偏置：机器学习模型的“天赋” 6
　　1 6 机器学习的限制 7
　　1 7 小结 7
　　第 2 章 机器学习的数学基础 8
　　2 1 向量 8
　　2 2 矩阵 10
　　2 2 1 矩阵的基本概念 10
　　2 2 2 矩阵运算 11
　　2 2 3 矩阵与线性方程组 12
　　2 2 4 矩阵范数 13
　　2 3 梯度 14
　　2 4 凸函数 17
　　2 5 小结 19
　　第 3 章 k近邻算法 20
　　3 1 KNN算法的原理 20
　　3 2 用KNN算法完成分类任务 21
　　3 3 使用scikit-learn实现KNN算法 24
　　3 4 用KNN算法完成回归任务--色彩风格迁移 25
　　3 4 1 RGB空间与LAB空间 27
　　3 4 2 算法设计 27
　　3 5 小结 30
　　第 4 章 线性回归 33
　　4 1 线性回归的映射形式和学习目标 33
　　4 2 线性回归的解析方法 35
　　4 3 动手实现线性回归的解析方法 35
　　4 4 使用sklearn中的线性回归模型 37
　　4 5 梯度下降算法 38
　　4 6 学习率对迭代的影响 42
　　4 7 小结 44
　　第 5 章 机器学习的基本思想 46
　　5 1 欠拟合与过拟合 46
　　5 2 正则化约束 49
　　5 3 输入特征与相似度 52
　　5 4 参数与超参数 55
　　5 5 数据集划分与交叉验证 56
　　5 6 小结 57
　　5 7 扩展阅读：贯穿恒等式的证明 58
　　5 8 参考文献 58
　　第二部分 参数化模型
　　第 6 章 逻辑斯谛回归 60
　　6 1 逻辑斯谛函数下的线性模型 61
　　6 2 最大似然估计 62
　　6 3 分类问题的评价指标 64
　　6 4 动手实现逻辑斯谛回归 69
　　6 5 使用sklearn中的逻辑斯谛回归模型 73
　　6 6 交叉熵与最大似然估计 74
　　6 7 小结 76
　　6 8 扩展阅读：广义线性模型 78
　　6 9 参考文献 79
　　第 7 章 双线性模型 80
　　7 1 矩阵分解 81
　　7 2 动手实现矩阵分解模型 83
　　7 3 因子分解机 86
　　7 4 动手实现因子分解机模型 89
　　7 5 小结 92
　　7 6 扩展阅读：概率矩阵分解 93
　　7 7 参考文献 95
　　第 8 章 神经网络与多层感知机 96
　　8 1 人工神经网络 96
　　8 2 感知机 97
　　8 3 隐含层与多层感知机 99
　　8 4 反向传播 102
　　8 5 动手实现多层感知机 104
　　8 6 用PyTorch库实现多层感知机 110
　　8 7 小结 113
　　8 8 参考文献 114
　　第 9 章 卷积神经网络 115
　　9 1 卷积 115
　　9 2 神经网络中的卷积 117
　　9 3 用卷积神经网络完成图像分类任务 119
　　9 4 用预训练的卷积神经网络完成色彩风格迁移 126
　　9 4 1 VGG网络 126
　　9 4 2 内容表示与风格表示 127
　　9 5 小结 134
　　9 6 扩展阅读：数据增强 134
　　9 7 参考文献 136
　　第 10 章 循环神经网络 137
　　10 1 循环神经网络的基本原理 137
　　10 2 门控循环单元 139
　　10 3 动手实现GRU 141
　　10 4 小结 146
　　10 5 参考文献 147
　　第三部分 非参数化模型
　　第 11 章 支持向量机 150
　　11 1 支持向量机的数学描述 150
　　11 2 序列最小优化 153
　　11 3 动手实现SMO求解SVM 156
　　11 4 核函数 158
　　11 5 sklearn中的SVM工具 162
　　11 6 小结 163
　　11 7 扩展阅读：SVM对偶问题的推导 164
　　第 12 章 决策树 167
　　12 1 决策树的构造 168
　　12 2 ID3算法与C4 5算法 171
　　12 3 CART算法 172
　　12 4 动手实现C4 5算法的决策树 175
　　12 4 1 数据集处理 175
　　12 4 2 C4 5算法的实现 178
　　12 5 sklearn中的决策树 182
　　12 6 小结 183
　　12 7 参考文献 184
　　第 13 章 集成学习与梯度提升决策树 185
　　13 1 自举聚合与随机森林 186
　　13 2 集成学习器 191
　　13 3 提升算法 194
　　13 3 1 适应提升 195
　　13 3 2 梯度提升 200
　　13 4 小结 205
　　13 5 参考文献 206
　　第四部分 无监督模型
　　第 14 章 k均值聚类 208
　　14 1 k均值聚类算法的原理 208
　　14 2 动手实现k均值算法 209
　　14 3 k-means 算法 212
　　14 4 小结 214
　　14 5 参考文献 215
　　第 15 章主成分分析 216
　　15 1 主成分与方差 216
　　15 2 利用特征分解进行PCA 218
　　15 3 动手实现PCA算法 221
　　15 4 用sklearn实现PCA算法 222
　　15 5 小结 223
　　第 16 章 概率图模型 225
　　16 1 贝叶斯网络 226
　　16 2 最大后验估计 228
　　16 3 用朴素贝叶斯模型完成文本分类 231
　　16 4 马尔可夫网络 234
　　16 5 用马尔可夫网络完成图像去噪 236
　　16 6 小结 240
　　16 7 参考文献 241
　　第 17 章 EM算法 242
　　17 1 高斯混合模型的EM算法 243
　　17 2 动手求解GMM来拟合数据分布 245
　　17 3 一般情况下的EM算法 251
　　17 4 EM算法的收敛性 253
　　17 5 小结 254
　　第 18 章 自编码器 255
　　18 1 自编码器的结构 256
　　18 2 动手实现自编码器 257
　　18 3 小结 262
　　18 4 参考文献 262
　　总结与展望 264
　　总结 264
　　展望 264
　　中英文术语对照表 267
^ 收 起　　

　　张伟楠，上海交通大学副教授，博士生导师，ACM班机器学习、强化学习课程授课教师。主要研究强化学习、数据挖掘、知识图谱、深度学习以及这些技术在推荐系统、游戏智能、机器人控制等场景中的应用，累计发表国际期刊和会议论文180余篇。赵寒烨，上海交通大学 APEX数据与知识管理实验室博士生，师从张伟楠副教授，研究方向为强化学习、机器学习。以一作身份在人工智能国际会议 NeurIPS上发表论文，并参与多本机器学习相关教材的编写。俞勇，上海交通大学ACM班创办人，上海交通大学特聘教授。2018年创办伯禹人工智能学院，在上海交通大学ACM班人工智能专业课程体系的基础上，对人工智能课程体系进行创新，致力于培养人工智能算法工程师和研究员。

　　本书系统介绍了机器学习的基本内容及其代码实现，是一本着眼于机器学习教学实践的图书。
　　本书包含4个部分：第一部分为机器学习基础，介绍了机器学习的概念、数学基础、思想方法和简单的机器学习算法；第二部分为参数化模型，讲解线性模型、神经网络等算法；第三部分为非参数化模型，主要讨论支持向量机和决策树模型及其变种；第四部分为无监督模型，涉及聚类、降维、概率图模型等多个方面。本书将机器学习理论和实践相结合，以大量示例和代码带领读者走进机器学习的世界，让读者对机器学习的研究内容、基本原理有基本认识，为后续进一步涉足深度学习打下基础。
　　本书适合对机器学习感兴趣的专业技术人员和研究人员阅读，同时适合作为人工智能相关专业机器学习课程的教材。