4.7 用户推荐指数
计算机
类型
可以朗读
语音朗读
181千字
字数
2023-12-01
发行日期
展开全部
主编推荐语
全面介绍Transformer模型的基础知识和快速入门方式。
内容简介
本书涵盖了Transformer在NLP领域的主要应用。首先介绍Transformer模型和Hugging Face生态系统。然后重点介绍情感分析任务以及Trainer API、Transformer的架构，并讲述了在多语言中识别文本内实体的任务，以及Transformer模型生成文本的能力，还介绍了解码策略和度量指标。
接着深入挖掘了文本摘要这个复杂的序列到序列的任务，并介绍了用于此任务的度量指标。之后聚焦于构建基于评论的问答系统，介绍如何基于Haystack进行信息检索，探讨在缺乏大量标注数据的情况下提高模型性能的方法。最后展示如何从头开始构建和训练用于自动填充Python源代码的模型，并总结Transformer面临的挑战以及将这个模型应用于其他领域的一些新研究。
目录
- 版权信息
- O'Reilly Media, Inc.介绍
- 业界评论
- 本书赞誉
- 序
- 前言
- 致谢
- 第1章 欢迎来到Transformer的世界
- 1.1 编码器-解码器框架
- 1.2 注意力机制
- 1.3 NLP的迁移学习
- 1.4 Hugging Face Transformers库：提供规范化接口
- 1.5 Transformer应用概览
- 1.5.1 文本分类
- 1.5.2 命名实体识别
- 1.5.3 问答
- 1.5.4 文本摘要
- 1.5.5 翻译
- 1.5.6 文本生成
- 1.6 Hugging Face生态系统
- 1.6.1 Hugging FaceHub
- 1.6.2 Hugging Face Tokenizers库
- 1.6.3 Hugging Face Datasets库
- 1.6.4 Hugging Face Accelerate库
- 1.7 Transformer的主要挑战
- 1.8 本章小结
- 第2章 文本分类
- 2.1 数据集
- 2.1.1 初探Hugging Face Datasets库
- 2.1.2 从Datasets到DataFrame
- 2.1.3 查看类分布
- 2.1.4 这些推文有多长
- 2.2 将文本转换成词元
- 2.2.1 字符词元化
- 2.2.2 单词词元化
- 2.2.3 子词词元化
- 2.2.4 对整个数据集进行词元化
- 2.3 训练文本分类器
- 2.3.1 使用Transformer作为特征提取器
- 2.3.2 微调Transformer模型
- 2.4 本章小结
- 第3章 Transformer架构剖析
- 3.1 Transformer架构
- 3.2 编码器
- 3.2.1 自注意力机制
- 3.2.2 前馈层
- 3.2.3 添加层规范化
- 3.2.4 位置嵌入
- 3.2.5 添加分类头
- 3.3 解码器
- 3.4 认识Transformer
- 3.4.1 Transformer的生命树
- 3.4.2 编码器分支
- 3.4.3 解码器分支
- 3.4.4 编码器-解码器分支
- 3.5 本章小结
- 第4章 多语言命名实体识别
- 4.1 数据集
- 4.2 多语言Transformer
- 4.3 多语言词元化技术
- 4.3.1 词元分析器pipeline
- 4.3.2 SentencePiece词元分析器
- 4.4 命名实体识别中的Transformers
- 4.5 自定义Hugging Face Transformers库模型类
- 4.5.1 主体和头
- 4.5.2 创建用于词元分类的自定义模型
- 4.5.3 加载自定义模型
- 4.6 NER的词元化
- 4.7 性能度量
- 4.8 微调XLM-RoBERTa
- 4.9 错误分析
- 4.10 跨语言迁移
- 4.10.1 零样本迁移何时有意义
- 4.10.2 一次性对多种语言进行微调
- 4.11 用模型小部件进行交互
- 4.12 本章小结
- 第5章 文本生成
- 5.1 生成连贯文本的挑战
- 5.2 贪婪搜索解码
- 5.3 束搜索解码
- 5.4 采样方法
- 5.5 top-k和核采样
- 5.6 哪种解码方法最好
- 5.7 本章小结
- 第6章 文本摘要
- 6.1 CNN/DailyMail数据集
- 6.2 文本摘要pipeline
- 6.2.1 摘要基准
- 6.2.2 GPT-2
- 6.2.3 T5
- 6.2.4 BART
- 6.2.5 PEGASUS
- 6.3 比较不同的摘要
- 6.4 度量生成文本的质量
- 6.4.1 BLEU
- 6.4.2 ROUGE
- 6.5 在CNN/DailyMail数据集上评估PEGASUS
- 6.6 训练摘要模型
- 6.6.1 评估PEGASUS在SAMSum上的性能
- 6.6.2 微调PEGASUS
- 6.6.3 生成对话摘要
- 6.7 本章小结
- 第7章 构建问答系统
- 7.1 构建基于评论的问答系统
- 7.1.1 准备数据集
- 7.1.2 从文本中提取答案
- 7.1.3 用Haystack构建问答pipeline
- 7.2 评估并改进问答pipeline
- 7.2.1 评估检索器
- 7.2.2 评估阅读器
- 7.2.3 领域自适应
- 7.2.4 评估整体问答pipeline
- 7.3 生成式问答
- 7.4 本章小结
- 第8章 Transformer模型调优
- 8.1 以意图识别为例
- 8.2 创建性能基准
- 8.3 通过知识蒸馏减小模型大小
- 8.3.1 微调知识蒸馏
- 8.3.2 基于知识蒸馏的预训练技术
- 8.3.3 创建知识蒸馏训练器
- 8.3.4 选择一个好的学生模型来初始化
- 8.3.5 使用Optuna找到优秀的超参数
- 8.3.6 基准测试蒸馏模型
- 8.4 利用量化技术使模型运算更快
- 8.5 基准测试量化模型
- 8.6 使用ONNX和ONNX Runtime进行推理优化
- 8.7 使用权重剪枝使模型更稀疏
- 8.7.1 深度神经网络中的稀疏性
- 8.7.2 权重剪枝方法
- 8.8 本章小结
- 第9章 零样本学习和少样本学习
- 9.1 构建GitHub issue标记任务
- 9.1.1 获取数据
- 9.1.2 准备数据
- 9.1.3 创建训练集
- 9.1.4 创建训练切片
- 9.2 基线模型
- 9.3 零样本学习
- 9.4 少样本学习
- 9.4.1 数据增强
- 9.4.2 使用嵌入作为查找表
- 9.4.3 对Transformer做微调
- 9.4.4 基于提示的上下文学习和少样本学习
- 9.5 利用无标注数据
- 9.5.1 语言模型的微调
- 9.5.2 分类器的微调
- 9.5.3 高级方法
- 9.6 本章小结
- 第10章 从零训练Transformer模型
- 10.1 如何寻找大型数据集
- 10.1.1 构建大规模语料库的挑战
- 10.1.2 构建自定义代码数据集
- 10.1.3 处理大型数据集
- 10.1.4 推送数据集到Hugging Face Hub
- 10.2 构建词元分析器
- 10.2.1 常见的词元分析器模型
- 10.2.2 度量词元分析器性能
- 10.2.3 用于Python代码的词元分析器
- 10.2.4 训练词元分析器
- 10.2.5 保存自定义词元分析器
- 10.3 从零训练一个模型
- 10.3.1 预训练模型
- 10.3.2 初始化模型
- 10.3.3 实现Dataloader
- 10.3.4 定义训练回路
- 10.3.5 开启训练任务
- 10.4 结果与分析
- 10.5 本章小结
- 第11章 未来发展趋势
- 11.1 Transformer的扩展
- 11.1.1 扩展准则
- 11.1.2 扩展挑战
- 11.1.3 注意力效率提升
- 11.1.4 稀疏化注意力
- 11.1.5 线性化注意力
- 11.2 其他应用领域
- 11.2.1 图像处理
- 11.2.2 表格处理
- 11.3 多模态的Transformer
- 11.3.1 语音和文本处理
- 11.3.2 图像和文本处理
- 11.4 继续前行的建议
- 关于作者
- 关于封面
- 推荐阅读
展开全部
评分及书评
4.7
3个评分
出版方
机械工业出版社
机械工业出版社是全国优秀出版社，自1952年成立以来，坚持为科技、为教育服务，以向行业、向学校提供优质、权威的精神产品为宗旨，以“服务社会和人民群众需求，传播社会主义先进文化”为己任，产业结构不断完善，已由传统的图书出版向着图书、期刊、电子出版物、音像制品、电子商务一体化延伸，现已发展为多领域、多学科的大型综合性出版社，涉及机械、电工电子、汽车、计算机、经济管理、建筑、ELT、科普以及教材、教辅等领域。
