3.2 用户推荐指数
互联网
类型
可以朗读
语音朗读
159千字
字数
2023-07-01
发行日期
展开全部
主编推荐语
BAT资深大模型专家撰写，深入解析ChatGPT技术、算法、原理和训练方法。
内容简介
本书是一本系统梳理并深入解析ChatGPT核心技术、算法实现、工作原理、训练方法的著作，也是一本能指导你搭建专属ChatGPT和实现大模型迁移及私有化的著作。本书得到了MOSS系统负责人邱锡鹏等多位专家的高度评价和鼎力推荐。
全书集理论、实战和产业应用于一体，提供大量经详细注释的代码，方便读者理解和实操。总之，不管里是想深入研究ChatGPT本身，还是正在研发或使用其他大模型，本书都应该能给你颇具价值的技术启发与思考，让你在大模型的路上快速前行，少走弯路。
目录
- 版权信息
- 赞誉
- 前言
- 第1章 了解ChatGPT
- 1.1 ChatGPT的由来
- 1.1.1 什么是ChatGPT
- 1.1.2 ChatGPT的发展历史
- 1.2 ChatGPT的工作流程
- 1.3 ChatGPT用例
- 1.3.1 日常任务
- 1.3.2 编写代码
- 1.3.3 文本生成
- 1.3.4 办公自动化
- 1.4 本章小结
- 第2章 ChatGPT原理解构
- 2.1 背景知识
- 2.1.1 自然语言处理的发展历程
- 2.1.2 大型语言模型的发展历程
- 2.2 ChatGPT同类产品
- 2.2.1 BlenderBot 3.0
- 2.2.2 LaMDA
- 2.2.3 Sparrow
- 2.3 ChatGPT的工作原理
- 2.3.1 预训练与提示学习阶段
- 2.3.2 结果评价与奖励建模阶段
- 2.3.3 强化学习与自我进化阶段
- 2.4 算法细节
- 2.4.1 标注数据
- 2.4.2 建模思路
- 2.4.3 存在的问题
- 2.5 关于ChatGPT的思考
- 2.6 本章小结
- 第3章 预训练语言模型
- 3.1 Transformer结构
- 3.2 基于Encoder结构的模型
- 3.2.1 BERT
- 3.2.2 RoBERTa
- 3.2.3 ERNIE
- 3.2.4 SpanBERT
- 3.2.5 MacBERT
- 3.2.6 ALBERT
- 3.2.7 NeZha
- 3.2.8 UniLM
- 3.2.9 GLM
- 3.2.10 ELECTRA
- 3.3 基于Decoder结构的模型
- 3.3.1 GPT
- 3.3.2 CPM
- 3.3.3 PaLM
- 3.3.4 OPT
- 3.3.5 Bloom
- 3.3.6 LLaMA
- 3.4 基于Encoder-Decoder结构的模型
- 3.4.1 MASS
- 3.4.2 BART
- 3.4.3 T5
- 3.5 基于夸夸闲聊数据的UniLM模型实战
- 3.5.1 项目简介
- 3.5.2 数据预处理模块
- 3.5.3 UniLM模型模块
- 3.5.4 模型训练模块
- 3.5.5 模型推理模块
- 3.6 本章小结
- 第4章 强化学习基础
- 4.1 机器学习的分类
- 4.1.1 有监督学习
- 4.1.2 无监督学习
- 4.1.3 强化学习
- 4.2 OpenAI Gym
- 4.2.1 OpenAI Gym API简介
- 4.2.2 环境简介
- 4.3 强化学习算法
- 4.3.1 Q-learning算法
- 4.3.2 SARSA算法
- 4.3.3 DQN算法
- 4.3.4 Policy Gradient算法
- 4.3.5 Actor-Critic算法
- 4.4 本章小结
- 第5章 提示学习与大型语言模型的涌现
- 5.1 提示学习
- 5.1.1 什么是提示学习
- 5.1.2 提示模板设计
- 5.1.3 答案空间映射设计
- 5.1.4 多提示学习方法
- 5.2 上下文学习
- 5.2.1 什么是上下文学习
- 5.2.2 预训练阶段提升上下文学习能力
- 5.2.3 推理阶段优化上下文学习的效果
- 5.3 思维链
- 5.4 基于提示的文本情感分析实战
- 5.4.1 项目简介
- 5.4.2 数据预处理模块
- 5.4.3 BERT模型模块
- 5.4.4 模型训练模块
- 5.4.5 模型推理模块
- 5.5 本章小结
- 第6章 大型语言模型预训练
- 6.1 大型预训练模型简介
- 6.2 预训练模型中的分词器
- 6.2.1 BPE
- 6.2.2 WordPiece
- 6.2.3 Unigram
- 6.2.4 SentencePiece
- 6.3 分布式深度学习框架
- 6.3.1 并行范式简介
- 6.3.2 Megatron-LM
- 6.3.3 DeepSpeed
- 6.3.4 Colossal-AI
- 6.3.5 FairScale
- 6.3.6 ParallelFormers
- 6.3.7 OneFlow
- 6.4 基于大型语言模型的预训练实战
- 6.4.1 项目简介
- 6.4.2 数据预处理模块
- 6.4.3 执行模型训练
- 6.5 基于大型语言模型的信息抽取实战
- 6.5.1 项目简介
- 6.5.2 数据预处理模块
- 6.5.3 Freeze微调模块
- 6.5.4 LoRA微调模块
- 6.5.5 P-Tuning v2微调模块
- 6.6 本章小结
- 第7章 GPT系列模型分析
- 7.1 GPT-1～GPT-4系列模型分析
- 7.1.1 GPT-1和GPT-2模型
- 7.1.2 GPT-3模型
- 7.1.3 GPT-3的衍生模型：Code-X
- 7.1.4 GPT-4模型
- 7.2 InstructGPT模型分析
- 7.2.1 模型简介
- 7.2.2 数据收集
- 7.2.3 模型原理
- 7.2.4 模型讨论
- 7.3 基于GPT-2模型的文本摘要实战
- 7.3.1 项目简介
- 7.3.2 数据预处理模块
- 7.3.3 GPT-2模型模块
- 7.3.4 模型训练模块
- 7.3.5 模型推理模块
- 7.4 本章小结
- 第8章 PPO算法与RLHF理论实战
- 8.1 PPO算法简介
- 8.1.1 策略梯度算法回顾
- 8.1.2 PPO算法原理剖析
- 8.1.3 PPO算法对比与评价
- 8.2 RLHF框架简介
- 8.2.1 RLHF内部剖析
- 8.2.2 RLHF价值分析
- 8.2.3 RLHF问题分析
- 8.3 基于PPO的正向情感倾向性生成项目实战
- 8.3.1 项目任务与数据集分析
- 8.3.2 数据预处理模块
- 8.3.3 模型训练模块
- 8.3.4 模型生成模块
- 8.3.5 模型评估模块
- 8.4 问题与思考
- 8.5 本章小结
- 第9章 类ChatGPT实战
- 9.1 任务设计
- 9.2 数据准备
- 9.3 基于文档生成问题任务的类ChatGPT实战
- 9.3.1 SFT阶段
- 9.3.2 RM阶段
- 9.3.3 RL阶段
- 9.4 本章小结
- 第10章 ChatGPT发展趋势
- 10.1 AIGC的发展趋势
- 10.1.1 AI云边协同
- 10.1.2 AI工具应用
- 10.1.3 AI可控生成
- 10.1.4 AI辅助决策
- 10.2 ChatGPT 2C应用场景
- 10.2.1 个人助手
- 10.2.2 知识导师
- 10.2.3 创意集市
- 10.2.4 情感伴侣
- 10.3 ChatGPT 2B应用场景
- 10.3.1 智能客服
- 10.3.2 办公助手
- 10.3.3 软件研发
- 10.3.4 决策辅助
- 10.4 行业参考建议
- 10.5 本章小结
展开全部
评分及书评
3.2
9个评分
- 给这本书评了5.0
不是一遍就能看懂的。有很多底层逻辑方面的介绍，很详细，也很不容易理解。
给这本书评了5.0拥抱AI。ChatGPT 的火爆超出了许多人的想象，新的 AIGC 产品层出不穷，这不免让很多人惶恐，并由此产生焦虑，包括客服、文案编辑、营销策划在内的不少岗位员工都产生了危机感。许多程序员发现 ChatGPT 写出来的代码经常优于自己编写的。然而，另一种不好的情绪也会随之产生，那就是主观否定，即过分强调人的不可替代性，弱化甚至否定 ChatGPT 所产生的价值。
出版方
机械工业出版社
机械工业出版社是全国优秀出版社，自1952年成立以来，坚持为科技、为教育服务，以向行业、向学校提供优质、权威的精神产品为宗旨，以“服务社会和人民群众需求，传播社会主义先进文化”为己任，产业结构不断完善，已由传统的图书出版向着图书、期刊、电子出版物、音像制品、电子商务一体化延伸，现已发展为多领域、多学科的大型综合性出版社，涉及机械、电工电子、汽车、计算机、经济管理、建筑、ELT、科普以及教材、教辅等领域。
