自动微分方法与最优化

　　前言
　　第1章 引论
　　1．1 自动微分的发展历史
　　1．2 函数的计算框架
　　1．3 自动微分的基本理论
　　1．4 自动微分在最优化中的直接应用
　　第2章 两种微分模式
　　2．1 计算切向微分的正向模式
　　2．2 计算法向微分的逆向模式
　　2．3 正向模式和逆向模式的比较
　查看完整　　

　　自动微分方法是计算函数导数的有效工具。传统观念认为，计算”元函数的一个偏导数所需要的计算量与计算该函数的一个函数值的计算量大致相当。因此，计算，z元函数的梯度（n个偏导数），所需计算量相当于函数值计算量的n倍。通常的方法，如数值微分（差商近似）和符号微分，都是如此。然而自动微分颠覆了这一传统观念。它计算函数梯度的计算量只相当于计算函数本身的数倍，而与自变量个数n无关。这一令人吃惊的结果，激发了人们对自动微分的强烈兴趣。
　　近二十年来，自动微分已成为国际上人们关注的热点，但在国内的研究依然不足。据作者所知，本书是国内对自动微分方法及其在优化中的应用进行介绍和论述的书籍。
　　本书由浅入深，系统地介绍自动微分的基本理论、算法设计和实现的软件工具，包括低阶和高阶微分方法。作为应用范例，本书还给出了基于自动微分的优化方法和特征值的数值计算。阅读本书除相关应用（第4、5章）外，只需具备高等数学和线性代数的基础知识。
　查看完整　　

　　前言
　　第1章 引论
　　1．1 自动微分的发展历史
　　1．2 函数的计算框架
　　1．3 自动微分的基本理论
　　1．4 自动微分在最优化中的直接应用
　　第2章 两种微分模式
　　2．1 计算切向微分的正向模式
　　2．2 计算法向微分的逆向模式
　　2．3 正向模式和逆向模式的比较
　　2．4 输出变量对输入变量的导数
　　第3章 高阶微分模式
　　3．1 正向模式的正向模式
　　3．2 逆向模式的逆向模式
　　3．3 逆向模式的正向模式
　　3．4 一类三阶模式的布局
　　第4章 自动微分对最优化方法的改进
　　4．1 内容介绍
　　4．2 改善的非精确牛顿法
　　4．3 求解无约束优化问题的哈雷方法
　　4．4 一种新的非精确切双曲方法的有效性分析
　　第5章 结构的自动微分方法
　　5．1 一类结构优化问题的灵敏度分析
　　5．2 半自动微分的非精确牛顿法
　　5．3 基于自动微分的特征值问题求解
　　第6章 自动微分算法的实现
　　6．1 算子重载和源代码转换
　　6．2 自动微分软件介绍
　　附录 自动微分的复杂性
　　A．1 一个时间复杂性模型
　　A．2 正向模式的复杂性
　　A．3 逆向模式的复杂性
　　A．4 二阶自动微分的复杂性
　　参考文献
　　索引
^ 收 起　　

　　自动微分方法是计算函数导数的有效工具。传统观念认为，计算”元函数的一个偏导数所需要的计算量与计算该函数的一个函数值的计算量大致相当。因此，计算，z元函数的梯度（n个偏导数），所需计算量相当于函数值计算量的n倍。通常的方法，如数值微分（差商近似）和符号微分，都是如此。然而自动微分颠覆了这一传统观念。它计算函数梯度的计算量只相当于计算函数本身的数倍，而与自变量个数n无关。这一令人吃惊的结果，激发了人们对自动微分的强烈兴趣。
　　近二十年来，自动微分已成为国际上人们关注的热点，但在国内的研究依然不足。据作者所知，本书是国内对自动微分方法及其在优化中的应用进行介绍和论述的书籍。
　　本书由浅入深，系统地介绍自动微分的基本理论、算法设计和实现的软件工具，包括低阶和高阶微分方法。作为应用范例，本书还给出了基于自动微分的优化方法和特征值的数值计算。阅读本书除相关应用（第4、5章）外，只需具备高等数学和线性代数的基础知识。
　　本书可作为数值计算相关专业的高年级本科生、研究生的教学用书，也可作为科研及工程技术人员的参考书。
^ 收 起