互联网 类型
7.2 豆瓣评分
可以朗读 语音朗读
256千字 字数
2021-07-01 发行日期
展开全部

主编推荐语

本书从基础知识、预训练词向量、预训练模型等几大方面全面系统地介绍了预训练语言模型技术。

内容简介

自然语言处理被誉为“人工智能皇冠上的明珠”。

深度学习等技术的引入为自然语言处理技术带来了一场革命，尤其是近年来出现的基于预训练模型的方法，已成为研究自然语言处理的新范式。本书在介绍自然语言处理、深度学习等基本概念的基础上，重点介绍新的基于预训练模型的自然语言处理技术。

本书包括基础知识、预训练词向量和预训练模型三大部分：基础知识部分介绍自然语言处理和深度学习的基础知识和基本工具；预训练词向量部分介绍静态词向量和动态词向量的预训练方法及应用；预训练模型部分介绍几种典型的预训练语言模型及应用，以及预训练模型的新进展。除了理论知识，本书还有针对性地结合具体案例提供相应的PyTorch 代码实现，不仅能让读者对理论有更深刻的理解，还能快速地实现自然语言处理模型，达到理论和实践的统一。

本书既适合具有一定机器学习基础的高等院校学生、研究机构的研究者，以及希望深入研究自然语言处理算法的计算机工程师阅读，也适合对人工智能、深度学习和自然语言处理感兴趣的学生和希望进入人工智能应用领域的研究者参考。

目录

  • 版权信息
  • 内容简介
  • 推荐序
  • 推荐语
  • 前言
  • 数学符号
  • 第1章 绪论
  • 1.1 自然语言处理的概念
  • 1.2 自然语言处理的难点
  • 1.2.1 抽象性
  • 1.2.2 组合性
  • 1.2.3 歧义性
  • 1.2.4 进化性
  • 1.2.5 非规范性
  • 1.2.6 主观性
  • 1.2.7 知识性
  • 1.2.8 难移植性
  • 1.3 自然语言处理任务体系
  • 1.3.1 任务层级
  • 1.3.2 任务类别
  • 1.3.3 研究对象与层次
  • 1.4 自然语言处理技术发展历史
  • 第2章 自然语言处理基础
  • 2.1 文本的表示
  • 2.1.1 词的独热表示
  • 2.1.2 词的分布式表示
  • 2.1.3 词嵌入表示
  • 2.1.4 文本的词袋表示
  • 2.2 自然语言处理任务
  • 2.2.1 语言模型
  • 2.2.2 自然语言处理基础任务
  • 2.2.3 自然语言处理应用任务
  • 2.3 基本问题
  • 2.3.1 文本分类问题
  • 2.3.2 结构预测问题
  • 2.3.3 序列到序列问题
  • 2.4 评价指标
  • 2.5 小结
  • 第3章 基础工具集与常用数据集
  • 3.1 NLTK工具集
  • 3.1.1 常用语料库和词典资源
  • 3.1.2 常用自然语言处理工具集
  • 3.2 LTP工具集
  • 3.2.1 中文分词
  • 3.2.2 其他中文自然语言处理功能
  • 3.3 PyTorch基础
  • 3.3.1 张量的基本概念
  • 3.3.2 张量的基本运算
  • 3.3.3 自动微分
  • 3.3.4 调整张量形状
  • 3.3.5 广播机制
  • 3.3.6 索引与切片
  • 3.3.7 降维与升维
  • 3.4 大规模预训练数据
  • 3.4.1 维基百科数据
  • 3.4.2 原始数据的获取
  • 3.4.3 语料处理方法
  • 3.4.4 Common Crawl数据
  • 3.5 更多数据集
  • 3.6 小结
  • 第4章 自然语言处理中的神经网络基础
  • 4.1 多层感知器模型
  • 4.1.1 感知器
  • 4.1.2 线性回归
  • 4.1.3 Logistic回归
  • 4.1.4 Softmax回归
  • 4.1.5 多层感知器
  • 4.1.6 模型实现
  • 4.2 卷积神经网络
  • 4.2.1 模型结构
  • 4.2.2 模型实现
  • 4.3 循环神经网络
  • 4.3.1 模型结构
  • 4.3.2 长短时记忆网络
  • 4.3.3 模型实现
  • 4.3.4 基于循环神经网络的序列到序列模型
  • 4.4 注意力模型
  • 4.4.1 注意力机制
  • 4.4.2 自注意力模型
  • 4.4.3 Transformer
  • 4.4.4 基于Transformer的序列到序列模型
  • 4.4.5 Transformer模型的优缺点
  • 4.4.6 模型实现
  • 4.5 神经网络模型的训练
  • 4.5.1 损失函数
  • 4.5.2 梯度下降
  • 4.6 情感分类实战
  • 4.6.1 词表映射
  • 4.6.2 词向量层
  • 4.6.3 融入词向量层的多层感知器
  • 4.6.4 数据处理
  • 4.6.5 多层感知器模型的训练与测试
  • 4.6.6 基于卷积神经网络的情感分类
  • 4.6.7 基于循环神经网络的情感分类
  • 4.6.8 基于Transformer的情感分类
  • 4.7 词性标注实战
  • 4.7.1 基于前馈神经网络的词性标注
  • 4.7.2 基于循环神经网络的词性标注
  • 4.7.3 基于Transformer的词性标注
  • 4.8 小结
  • 第5章 静态词向量预训练模型
  • 5.1 神经网络语言模型
  • 5.1.1 概述
  • 5.1.2 预训练任务
  • 5.1.3 模型实现
  • 5.2 Word2vec词向量
  • 5.2.1 概述
  • 5.2.2 负采样
  • 5.2.3 模型实现
  • 5.3 GloVe词向量
  • 5.3.1 概述
  • 5.3.2 预训练任务
  • 5.3.3 参数估计
  • 5.3.4 模型实现
  • 5.4 评价与应用
  • 5.4.1 词义相关性
  • 5.4.2 类比性
  • 5.4.3 应用
  • 5.5 小结
  • 第6章 动态词向量预训练模型
  • 6.1 词向量——从静态到动态
  • 6.2 基于语言模型的动态词向量预训练
  • 6.2.1 双向语言模型
  • 6.2.2 ELMo词向量
  • 6.2.3 模型实现
  • 6.2.4 应用与评价
  • 6.3 小结
  • 第7章 预训练语言模型
  • 7.1 概述
  • 7.1.1 大数据
  • 7.1.2 大模型
  • 7.1.3 大算力
  • 7.2 GPT
  • 7.2.1 无监督预训练
  • 7.2.2 有监督下游任务精调
  • 7.2.3 适配不同的下游任务
  • 7.3 BERT
  • 7.3.1 整体结构
  • 7.3.2 输入表示
  • 7.3.3 基本预训练任务
  • 7.3.4 更多预训练任务
  • 7.3.5 模型对比
  • 7.4 预训练语言模型的应用
  • 7.4.1 概述
  • 7.4.2 单句文本分类
  • 7.4.3 句对文本分类
  • 7.4.4 阅读理解
  • 7.4.5 序列标注
  • 7.5 深入理解BERT
  • 7.5.1 概述
  • 7.5.2 自注意力可视化分析
  • 7.5.3 探针实验
  • 7.6 小结
  • 第8章 预训练语言模型进阶
  • 8.1 模型优化
  • 8.1.1 XLNet
  • 8.1.2 RoBERTa
  • 8.1.3 ALBERT
  • 8.1.4 ELECTRA
  • 8.1.5 MacBERT
  • 8.1.6 模型对比
  • 8.2 长文本处理
  • 8.2.1 概述
  • 8.2.2 Transformer-XL
  • 8.2.3 Reformer
  • 8.2.4 Longformer
  • 8.2.5 BigBird
  • 8.2.6 模型对比
  • 8.3 模型蒸馏与压缩
  • 8.3.1 概述
  • 8.3.2 DistilBERT
  • 8.3.3 TinyBERT
  • 8.3.4 MobileBERT
  • 8.3.5 TextBrewer
  • 8.4 生成模型
  • 8.4.1 BART
  • 8.4.2 UniLM
  • 8.4.3 T5
  • 8.4.4 GPT-3
  • 8.4.5 可控文本生成
  • 8.5 小结
  • 第9章 多模态融合的预训练模型
  • 9.1 多语言融合
  • 9.1.1 多语言BERT
  • 9.1.2 跨语言预训练语言模型
  • 9.1.3 多语言预训练语言模型的应用
  • 9.2 多媒体融合
  • 9.2.1 VideoBERT
  • 9.2.2 VL-BERT
  • 9.2.3 DALL·E
  • 9.2.4 ALIGN
  • 9.3 异构知识融合
  • 9.3.1 融入知识的预训练
  • 9.3.2 多任务学习
  • 9.4 更多模态的预训练模型
  • 9.5 小结
  • 参考文献
  • 术语表
展开全部

评分及书评

评分不足
2个评分

出版方

电子工业出版社

电子工业出版社成立于1982年10月，是国务院独资、工信部直属的中央级科技与教育出版社，是专业的信息技术知识集成和服务提供商。经过三十多年的建设与发展，已成为一家以科技和教育出版、期刊、网络、行业支撑服务、数字出版、软件研发、软科学研究、职业培训和教育为核心业务的现代知识服务集团。出版物内容涵盖了电子信息技术的各个分支及工业技术、经济管理、科普与少儿、社科人文等领域，综合出版能力位居全国出版行业前列。