机器学习：贝叶斯和优化方法（原书第2版）

　　译者序
　　前言
　　致谢
　　作者简介
　　符号说明
　　第1章　引言1
　　1.1　历史背景1
　　1.2　人工智能与机器学习1
　　1.3　算法能学习数据中隐藏的东西3
　　1.4　机器学习典型应用4
　查看完整　　

　　西格尔斯·西奥多里蒂斯（Sergios Theodoridis） 雅典大学教授，香港中文大学（深圳）教授，研究兴趣包括机器学习、模式识别和信号处理等。他是IEEE Fellow、IET Fellow、EURASIP Fellow，曾任IEEE信号处理协会副主席、EURASIP主席以及IEEE Transactions on Signal Processing主编。曾获2017年EURASIP Athanasios Papoulis奖，2014年IEEE信号处理杂志 佳论文奖，以及2014年EURASIP 有价值服务奖等。此外，他还是经典著作《模式识别》的作者。

　　本书对所有重要的机器学习方法和新近研究趋势进行了深入探索，新版重写了关于神经网络和深度学习的章节，并扩展了关于贝叶斯学习的内容。书中首先讨论基础知识，包括均方、 小二乘和 似然方法，以及岭回归、贝叶斯决策理论分类、逻辑回归和决策树。然后介绍较新的技术，包括稀疏建模方法、再生核希尔伯特空间和支持向量机中的学习、关注EM算法的贝叶斯推理及其变分近似推理、蒙特卡罗方法、关注贝叶斯网络的概率图模型、隐马尔可夫模型和粒子滤波。此外，书中还讨论了降维、隐变量建模、统计参数估计、维纳和卡尔曼滤波、凸优化等技术。本书适合该领域的科研人员和工程师阅读，也适合学习模式识别、统计/自适应信号处理和深度学习等课程的学生参考。

　　译者序
　　前言
　　致谢
　　作者简介
　　符号说明
　　第1章　引言1
　　1.1　历史背景1
　　1.2　人工智能与机器学习1
　　1.3　算法能学习数据中隐藏的东西3
　　1.4　机器学习典型应用4
　　1.4.1　语音识别4
　　1.4.2　计算机视觉4
　　1.4.3　多模态数据5
　　1.4.4　自然语言处理5
　　1.4.5　机器人5
　　1.4.6　自动驾驶5
　　1.4.7　未来的挑战5
　　1.5　机器学习的主要方向6
　　1.5.1　监督学习6
　　1.6　无监督和半监督学习8
　　1.7　本书结构和路线图9
　　参考文献11
　　第2章　概率和随机过程13
　　2.1　引言13
　　2.2　概率和随机变量13
　　2.2.1　概率13
　　2.2.2　离散随机变量14
　　2.2.3　连续随机变量16
　　2.2.4　均值和方差16
　　2.2.5　随机变量变换18
　　2.3　分布示例19
　　2.3.1　离散变量19
　　2.3.2　连续变量21
　　2.4　随机过程27
　　2.4.1　一阶和二阶统计量28
　　2.4.2　平稳性和遍历性29
　　2.4.3　功率谱密度31
　　2.4.4　自回归模型35
　　2.5　信息论38
　　2.5.1　离散随机变量38
　　2.5.2　连续随机变量41
　　2.6　随机收敛42
　　2.6.1　处处收敛43
　　2.6.2　几乎处处收敛43
　　2.6.3　均方意义下的收敛43
　　2.6.4　依概率收敛43
　　2.6.5　依分布收敛43
　　习题44
　　参考文献45
　　第3章　参数化建模学习：概念和方向46
　　3.1　引言46
　　3.2　参数估计：确定性观点46
　　3.3　线性回归49
　　3.4　分类52
　　3.4.1　生成和判别学习54
　　3.5　有偏估计与无偏估计55
　　3.5.1　选择有偏还是无偏估计56
　　3.6　克拉美-罗下界57
　　3.7　充分统计量60
　　3.8　正则化61
　　3.8.1　逆问题：病态和过拟合63
　　3.9　偏差-方差困境65
　　3.9.1　均方误差估计65
　　3.9.2　偏差-方差权衡66
　　3.10　 似然法69
　　3.10.1　线性回归：非白高斯噪声实例71
　　3.11　贝叶斯推断71
　　3.11.1　 后验概率估计方法74
　　3.12　维数灾难75
　　3.13　验证76
　　3.13.1　交叉验证77
　　3.14　期望损失函数和经验风险函数78
　　3.14.1　可学习性79
　　3.15　非参数建模和非参数估计79
　　习题80
　　参考文献83
　　第4章　均方误差线性估计85
　　4.1　引言85
　　4.2　均方误差线性估计：正规方程85
　　4.2.1　代价函数曲面86
　　4.3　几何观点：正交性条件87
　　4.4　扩展到复值变量89
　　4.4.1　宽线性复值估计90
　　4.4.2　复值变量优化：沃廷格微积分93
　　4.5　线性滤波94
　　4.6　均方误差线性滤波：频率域观点96
　　4.6.1　反卷积：图像去模糊96
　　4.7　一些典型应用98
　　4.7.1　干扰抵消98
　　4.7.2　系统辨识99
　　4.7.3　反卷积：信道均衡100
　　4.8　算法方面：莱文森算法和格-梯算法105
　　4.8.1　前向后向均方误差 预测106
　　4.8.2　格-梯方案109
　　4.9　线性模型均方误差估计111
　　4.9.1　高斯-马尔可夫定理113
　　4.9.2　约束线性估计：波束成形实例115
　　4.10　时变统计：卡尔曼滤波118
　　习题123
　　参考文献125
　　第5章　随机梯度下降：LMS算法族127
　　5.1　引言127
　　5.2　 速下降法127
　　5.3　应用于均方误差代价函数130
　　5.3.1　时变步长135
　　5.3.2　复值情形135
　　5.4　随机逼近136
　　5.4.1　在均方误差线性估计中的应用138
　　5.5　 小均方自适应算法139
　　5.5.1　平稳环境中LMS算法的收敛和稳态性能140
　　5.5.2　累积损失上界144
　　5.6　仿射投影算法145
　　5.6.1　APA的几何解释147
　　5.6.2　正交投影148
　　5.6.3　归一化LMS算法149
　　5.7　复值情形150
　　5.7.1　宽线性LMS151
　　5.7.2　宽线性APA151
　　5.8　LMS同族算法152
　　5.8.1　符号误差LMS152
　　5.8.2　 小均四次方算法152
　　5.8.3　变换域LMS153
　　5.9　仿真示例155
　　5.10　自适应判决反馈均衡157
　　5.11　线性约束LMS159
　　5.12　非平稳环境中LMS算法的跟踪性能160
　　5.13　分布式学习：分布式LMS162
　　5.13.1　协同策略163
　　5.13.2　扩散LMS164
　　5.13.3　收敛和稳态性能：一些重点169
　　5.13.4　基于共识的分布式方法171
　　5.14　实例研究：目标定位172
　　5.15　一些结论：共识矩阵174
　　习题174
　　参考文献177
　　第6章　 小二乘算法族181
　　6.1　引言181
　　6.2　 小二乘线性回归：几何视角181
　　6.3　 小二乘估计的统计特性183
　　6.3.1　LS估计是无偏估计183
　　6.3.2　LS估计的协方差矩阵183
　　6.3.3　白噪声下LS估计是 线性无偏估计184
　　6.3.4
^ 收 起　　

　　西格尔斯·西奥多里蒂斯（Sergios Theodoridis） 雅典大学教授，香港中文大学（深圳）教授，研究兴趣包括机器学习、模式识别和信号处理等。他是IEEE Fellow、IET Fellow、EURASIP Fellow，曾任IEEE信号处理协会副主席、EURASIP主席以及IEEE Transactions on Signal Processing主编。曾获2017年EURASIP Athanasios Papoulis奖，2014年IEEE信号处理杂志 佳论文奖，以及2014年EURASIP 有价值服务奖等。此外，他还是经典著作《模式识别》的作者。

　　本书对所有重要的机器学习方法和新近研究趋势进行了深入探索，新版重写了关于神经网络和深度学习的章节，并扩展了关于贝叶斯学习的内容。书中首先讨论基础知识，包括均方、 小二乘和 似然方法，以及岭回归、贝叶斯决策理论分类、逻辑回归和决策树。然后介绍较新的技术，包括稀疏建模方法、再生核希尔伯特空间和支持向量机中的学习、关注EM算法的贝叶斯推理及其变分近似推理、蒙特卡罗方法、关注贝叶斯网络的概率图模型、隐马尔可夫模型和粒子滤波。此外，书中还讨论了降维、隐变量建模、统计参数估计、维纳和卡尔曼滤波、凸优化等技术。本书适合该领域的科研人员和工程师阅读，也适合学习模式识别、统计/自适应信号处理和深度学习等课程的学生参考。