基于深度学习的自然语言处理

　　译者序
　　前言
　　致谢
　　第1章引言
　　11自然语言处理的挑战
　　12神经网络和深度学习
　　13自然语言处理中的深度学习
　　14本书的覆盖面和组织结构
　　15本书未覆盖的内容
　　16术语
　查看完整　　

　　约阿夫o戈尔德贝格（Yoav Goldberg）
　　以色列巴伊兰大学计算机科学系高级讲师，曾任Google Research研究员。他于2011年获得本·古里安大学博士学位。他曾经担任EMNLP、EACL等重要国际会议领域主席，在自然语言处理领域发表论文50余篇，并多次获得*佳论文以及杰出论文奖。同时他也是自然语言处理领域期刊《Computational Linguistics》的编辑部成员。他的研究方向包括面向自然语言处理的机器学习方法，结构预测，句法与词法分析等。近几年，他专注于神经网络模型，在基于深度学习的自然语言处理方法上作出了重要贡献，同时他也是主流深度学习工具包DyNet的主要研发者之一。
　　译者和主审简介
　　车万翔，博士，哈尔滨工业大学教授，博士生导师，斯坦福大学访问学者。研究…
　查看完整　　

　　自然语言处理是人工智能领域的一个重要的研究方向，是计算机科学与语言学的交叉学科。随着互联网的快速发展，网络文本尤其是用户生成的文本呈爆炸性增长，为自然语言处理带来了巨大的应用需求。但是由于自然语言具有歧义性、动态性和非规范性，同时语言理解通常需要丰富的知识和一定的推理能力，为自然语言处理带来了极大的挑战。近年来如火如荼的深度学习技术为解决自然语言处理问题的解决提供了一种可能的思路，已成为有效推动自然语言处理技术发展的变革力量。
　　本书系统阐述将深度学习技术应用于自然语言处理的方法和技术，深入浅出地介绍了深度学习的基本知识及各种常用的网络结构，并重点介绍了如何使用这些技术处理自然语言。
　　本书主要面向高等院校自然语言处理和机器学习方向的研究生，也适合自然语言处理或机器学习领域的研究人员以及工业界从事智能相关领域呀发的专业人员阅读参考。

　　译者序
　　前言
　　致谢
　　第1章引言
　　11自然语言处理的挑战
　　12神经网络和深度学习
　　13自然语言处理中的深度学习
　　14本书的覆盖面和组织结构
　　15本书未覆盖的内容
　　16术语
　　17数学符号
　　注释
　　第一部分有监督分类与前馈神经网络
　　第2章学习基础与线性模型
　　21有监督学习和参数化函数
　　22训练集、测试集和验证集
　　23线性模型
　　231二分类
　　232对数线性二分类
　　233多分类
　　24表示
　　25独热和稠密向量表示
　　26对数线性多分类
　　27训练和最优化
　　271损失函数
　　272正则化
　　28基于梯度的最优化
　　281随机梯度下降
　　282实例
　　283其他训练方法
　　第3章从线性模型到多层感知器
　　31线性模型的局限性：异或问题
　　32非线性输入转换
　　33核方法 
　　34可训练的映射函数 
　　第4章前馈神经网络
　　41一个关于大脑的比喻
　　42数学表示
　　43表达能力
　　44常见的非线性函数
　　45损失函数
　　46正则化与丢弃法
　　47相似和距离层
　　48嵌入层
　　第5章神经网络训练
　　51计算图的抽象概念
　　511前向计算
　　512反向计算（导数、反向传播）
　　513软件
　　514实现流程
　　515网络构成
　　52实践经验
　　521优化算法的选择
　　522初始化
　　523重启与集成
　　524梯度消失与梯度爆炸
　　525饱和神经元与死神经元
　　526随机打乱
　　527学习率
　　528minibatch
　　第二部分处理自然语言数据
　　第6章文本特征构造
　　61NLP分类问题中的拓扑结构
　　62NLP问题中的特征
　　621直接可观测特征
　　622可推断的语言学特征
　　623核心特征与组合特征
　　624n元组特征
　　625分布特征
　　第7章NLP特征的案例分析
　　71文本分类：语言识别
　　72文本分类：主题分类
　　73文本分类：作者归属
　　74上下文中的单词：词性标注
　　75上下文中的单词：命名实体识别
　　76上下文中单词的语言特征：介词词义消歧
　　77上下文中单词的关系：弧分解分析
　　第8章从文本特征到输入
　　81编码分类特征
　　811独热编码
　　812稠密编码（特征嵌入）
　　813稠密向量与独热表示
　　82组合稠密向量
　　821基于窗口的特征
　　822可变特征数目：连续词袋
　　83独热和稠密向量间的关系
　　84杂项
　　841距离与位置特征
　　842补齐、未登录词和词丢弃
　　843特征组合
　　844向量共享
　　845维度
　　846嵌入的词表
　　847网络的输出
　　85例子：词性标注
　　86例子：弧分解分析
　　第9章语言模型
　　91语言模型任务
　　92语言模型评估：困惑度
　　93语言模型的传统方法
　　931延伸阅读
　　932传统语言模型的限制
　　94神经语言模型
　　95使用语言模型进行生成
　　96副产品：词的表示
　　第10章预训练的词表示
　　101随机初始化
　　102有监督的特定任务的预训练
　　103无监督的预训练
　　104词嵌入算法
　　1041分布式假设和词表示
　　1042从神经语言模型到分布式表示
　　1043词语联系
　　1044其他算法
　　105上下文的选择
　　1051窗口方法
　　1052句子、段落或文档
　　1053句法窗口
　　1054多语种
　　1055基于字符级别和子词的表示
　　106处理多字单元和字变形
　　107分布式方法的限制
　　第11章使用词嵌入
　　111词向量的获取
　　112词的相似度
　　113词聚类
　　114寻找相似词
　　115同中选异
　　116短文档相似度
　　117词的类比
　　118改装和映射
　　119实用性和陷阱
　　第12章案例分析:一种用于句子意义推理的前馈结构
　　121自然语言推理与 SNLI数据集
　　122文本相似网络
　　第三部分特殊的结构
　　第13章n元语法探测器：卷积神经网络
　　131基础卷积池化
　　1311文本上的一维卷积
　　1312向量池化
　　1313变体
　　132其他选择：特征哈希
　　133层次化卷积
　　第14章循环神经网络：序列和栈建模
　　141RNN抽象描述
　　142RNN的训练
　　143RNN常见使用模式
　　1431接收器
　　1432编码器
　　1433传感器
　　144双向RNN
　　145堆叠RNN
　　146用于表示栈的RNN
　　147文献阅读的注意事项
　　第15章实际的循环神经网络结构
　　151作为RNN的CBOW
　　152简单RNN
　　153门结构
　　1531长短期记忆网络
　　1532门限循环单元
　　154其他变体
　　155应用到RNN的丢弃机制
　　第16章通过循环网络建模
　　161接收器
　　1611情感分类器
　　1612主谓一致语法检查
　　162作为特征提取器的RNN
　　1621词性标注
　　1622RNNCNN文本分类
　　1623弧分解依存句法分析
　　第17章条件生成
　　171RNN生成器
　　172条件生成（编码器解码器）
　　1721序列到序列模型
　　1722应用
　　1723其他条件上下文
　　173无监督的句子相似性
　　174结合注意力机制的条件生成
　　1741计算复杂性
　　1742可解释性
　　175自然语言处理中基于注意力机制的模型
　　1751机器翻译
　　1752形态屈折
　　1753句法分析
　　第四部分其他主题
　　第18章用递归神经网络对树建模
　　181形式化定义
　　182扩展和变体
　　183递归神经网络的训练
　　184一种简单的替代——线性化树
　　185前景
　　第19章结构化输出预测
　　191基于搜索的结构化预测
　　1911基于线性模型的结构化预测
　　1912非线性结构化预测
　　1913概率目标函数（CRF）
　　1914近似搜索
　　1915重排序
　　1916参考阅读
　　192贪心结构化预测
　　193条件生成与结构化输出预测
　　194实例
　　1941基于搜索的结构化预测：一阶依存句法分析
　　1942基于NeuralCRF的命名实体识别
　　1943基于柱搜索的NERCRF近似
　　第20章级联、多任务与半监督学习
　　201模型级联
　　202多任务学习
　　2021多任务设置下的训练
　　2022选择性共享
　　2023作为多任务学习的词嵌入预训练
　　2024条件生成中的多任务学习
　　2025作为正则的多任务学习
　　2026注意事项
　　203半监督学习
　　204实例
　　2041眼动预测与句子压缩
　　2042弧标注与句法分析
　　2043介词词义消歧与介词翻译预测
　　2044条件生成：多语言机器翻译、句法分析以及图像描述生成
　　205前景
　　第21章结论
　　211我们学到了什么
　　212未来的挑战
　　参考文献
^ 收 起　　

　　约阿夫o戈尔德贝格（Yoav Goldberg）
　　以色列巴伊兰大学计算机科学系高级讲师，曾任Google Research研究员。他于2011年获得本·古里安大学博士学位。他曾经担任EMNLP、EACL等重要国际会议领域主席，在自然语言处理领域发表论文50余篇，并多次获得*佳论文以及杰出论文奖。同时他也是自然语言处理领域期刊《Computational Linguistics》的编辑部成员。他的研究方向包括面向自然语言处理的机器学习方法，结构预测，句法与词法分析等。近几年，他专注于神经网络模型，在基于深度学习的自然语言处理方法上作出了重要贡献，同时他也是主流深度学习工具包DyNet的主要研发者之一。
　　译者和主审简介
　　车万翔，博士，哈尔滨工业大学教授，博士生导师，斯坦福大学访问学者。研究方向为自然语言处理。在CoNLL、SANCL、SemEal等国际评测获得过冠军。任ACL、COLING、EMNLP等国际会议领域主席。负责研发的语言技术平台（LTP）已被600余家单位共享，并授权给百度、腾讯、华为等公司使用。曾获黑龙江科技进步一等奖、技术发明二等奖；汉王青年创新奖一等奖；钱伟长中文信息处理科学奖等奖项。2017年所主讲的《Python语言程序设计》课程获国家精品在线开放课程。
　　郭江，博士，毕业于哈尔滨工业大学社会计算与信息检索研究中心，就读期间先后于美国普林斯顿大学以及约翰·霍普金斯大学进行访问研究，现为美国麻省理工学院计算机科学与人工智能实验室博士后研究员。研究领域主要为自然语言处理与机器学习。在人工智能，自然语言处理等领域国际重要会议及期刊（如ACL, EMNLP, AAAI, IJCAI, JAIR等）上发表论文10余篇。
　　张伟男，哈尔滨工业大学计算机学院社会计算与信息检索研究中心，博士/讲师/硕导。在ACL、AAAI、IJCAI及IEEE TKDE等CCF A类国际会议及期刊发表论文多篇。中国中文信息学会（CIPS）信息检索专委会委员、青年工作委员会委员，中国人工智能学会（CAAI）青年工作委员会委员。曾获黑龙江省科技进步一等奖、中国人工智能学会*佳青年成果奖、中国人工智能学会"合创杯"第二届全国青年创新创业大赛三等奖。
　　刘铭，博士，哈尔滨工业大学副教授，博士生导师，美国南加州大学访问学者。研究领域包括文本挖掘、命名实体识别、实体链接等。先后主持国家自然科学基金、中国博士后科学基金特别资助、腾讯-CCF犀牛鸟创意基金等多项基金项目。 在人工智能、数据挖掘、自然语言处理等领域国际期刊和会议上发表论文20余篇（如TKDE、TOIS、IJCAI、ACL、ICDE等）。获黑龙江省科学技术一等奖一项, 获哈尔滨市科技成果一项。
　　主审：刘挺
　　刘挺，哈尔滨工业大学教授，社会计算与信息检索研究中心主任，国家"万人计划"科技创新领军人才。多次担任国家863重点项目总体组专家、基金委会评专家。中国计算机学会理事，中国中文信息学会常务理事、社会媒体处理专委会（SMP）主任，曾任国际会议ACL、EMNLP领域主席。主要研究方向为人工智能、自然语言处理和社会计算，是国家973课题、国家自然科学基金重点项目负责人。主持研制"语言技术平台LTP"、"大词林"等科研成果被业界广泛使用。曾获国家科技进步二等奖、省科技进步一等奖、钱伟长中文信息处理科学技术一等奖等。
^ 收 起　　

　　自然语言处理是人工智能领域的一个重要的研究方向，是计算机科学与语言学的交叉学科。随着互联网的快速发展，网络文本尤其是用户生成的文本呈爆炸性增长，为自然语言处理带来了巨大的应用需求。但是由于自然语言具有歧义性、动态性和非规范性，同时语言理解通常需要丰富的知识和一定的推理能力，为自然语言处理带来了极大的挑战。近年来如火如荼的深度学习技术为解决自然语言处理问题的解决提供了一种可能的思路，已成为有效推动自然语言处理技术发展的变革力量。
　　本书系统阐述将深度学习技术应用于自然语言处理的方法和技术，深入浅出地介绍了深度学习的基本知识及各种常用的网络结构，并重点介绍了如何使用这些技术处理自然语言。
　　本书主要面向高等院校自然语言处理和机器学习方向的研究生，也适合自然语言处理或机器学习领域的研究人员以及工业界从事智能相关领域呀发的专业人员阅读参考。