科技 类型
可以朗读 语音朗读
138千字 字数
2024-09-01 发行日期
展开全部

主编推荐语

掌握大模型核心技术，迈向智能科技的巅峰。

内容简介

本书是一本从工程化角度讲解大语言模型的核心技术、构建方法与前沿应用的著作。

首先从语言模型的原理和大模型的基础构件入手，详细梳理了大模型技术的发展脉络，深入探讨了大模型预训练与对齐的方法；然后阐明了大模型训练中的算法设计、数据处理和分布式训练的核心原理，展示了这一系统性工程的复杂性与实现路径。

除了基座模型的训练方案，本书还涵盖了大模型在各领域的落地应用方法，包括低参数量微调、知识融合、工具使用和自主智能体等，展示了大模型在提高生产力和创造性任务中的卓越性能和创新潜力。

无论是人工智能领域的研究员、工程师，还是对前沿技术充满好奇的读者，本书都将是您了解和掌握大模型技术的必备指南。

目录

  • 版权信息
  • 前言
  • 第1章 语言模型简介
  • 1.1 传统语言模型
  • 1.1.1 n-gram语言模型
  • 1.1.2 神经网络语言模型
  • 1.1.3 传统语言模型的应用
  • 1.2 大语言模型
  • 1.2.1 大模型的发展历程
  • 1.2.2 训练大模型的挑战
  • 1.2.3 大模型的应用
  • 1.3 大模型实例
  • 1.3.1 基座模型实例
  • 1.3.2 对齐模型实例
  • 1.4 小结
  • 第2章 大模型网络结构
  • 2.1 Seq2Seq结构
  • 2.2 注意力机制
  • 2.3 Transformer架构
  • 2.3.1 Transformer模型结构
  • 2.3.2 编码器单元
  • 2.3.3 解码器单元
  • 2.3.4 位置编码
  • 2.4 词元化
  • 2.4.1 BPE
  • 2.4.2 字节级BPE
  • 2.4.3 WordPiece
  • 2.4.4 Unigram语言模型
  • 2.4.5 SentencePiece
  • 2.5 解码策略
  • 2.5.1 贪心搜索
  • 2.5.2 集束搜索
  • 2.5.3 Top-k采样
  • 2.5.4 核采样
  • 2.5.5 温度采样
  • 2.6 小结
  • 第3章 大模型学习范式的演进
  • 3.1 预训练与微调的原理和典型模型
  • 3.1.1 预训练与微调
  • 3.1.2 三个典型模型
  • 3.2 多任务学习的原理和典型模型
  • 3.2.1 多任务学习
  • 3.2.2 两个典型模型
  • 3.3 大规模模型的能力
  • 3.3.1 少样本学习
  • 3.3.2 提示学习
  • 3.3.3 上下文学习
  • 3.4 小结
  • 第4章 大模型对齐训练
  • 4.1 对齐
  • 4.1.1 对齐的定义
  • 4.1.2 对齐的衡量指标
  • 4.2 基于人类反馈的强化学习
  • 4.2.1 监督微调的原理
  • 4.2.2 训练奖励模型的原理
  • 4.2.3 强化学习的原理
  • 4.3 基于AI反馈的强化学习
  • 4.4 直接偏好优化
  • 4.5 超级对齐
  • 4.6 小结
  • 第5章 大模型评测与数据集
  • 5.1 大模型评测方法
  • 5.1.1 人工评测
  • 5.1.2 自动评测
  • 5.2 大模型评测指标
  • 5.2.1 准确率、精确率、召回率与F1分数
  • 5.2.2 困惑度
  • 5.2.3 BLEU与ROUGE
  • 5.2.4 pass@k
  • 5.3 大模型能力评测基准
  • 5.3.1 MMLU
  • 5.3.2 GSM8K
  • 5.3.3 C-Eval
  • 5.3.4 HumanEval
  • 5.4 数据集及预处理方法
  • 5.4.1 预训练数据集
  • 5.4.2 指令微调数据集
  • 5.4.3 人工反馈数据集
  • 5.4.4 数据预处理方法
  • 5.5 小结
  • 第6章 分布式训练与内存优化
  • 6.1 大模型扩展法则
  • 6.2 分布式训练策略
  • 6.2.1 数据并行
  • 6.2.2 张量并行
  • 6.2.3 流水线并行
  • 6.2.4 混合并行
  • 6.3 大模型训练中的不稳定现象
  • 6.4 分布式训练集群架构
  • 6.4.1 中心化架构：参数服务器
  • 6.4.2 去中心化架构：集合通信
  • 6.5 内存优化策略
  • 6.5.1 混合精度训练
  • 6.5.2 梯度检查点
  • 6.5.3 梯度累积
  • 6.5.4 FlashAttention
  • 6.6 分布式训练框架
  • 6.7 小结
  • 第7章 大模型的垂直场景适配方案
  • 7.1 从零开始训练新模型
  • 7.2 全量参数微调
  • 7.3 低参数量微调
  • 7.3.1 适配器方法
  • 7.3.2 提示词微调
  • 7.3.3 前缀微调
  • 7.3.4 LoRA
  • 7.4 超低参数量微调的探索
  • 7.5 小结
  • 第8章 知识融合与工具使用
  • 8.1 知识融合
  • 8.1.1 检索增强生成
  • 8.1.2 解码器融合
  • 8.1.3 提示融合
  • 8.2 工具使用
  • 8.2.1 WebGPT
  • 8.2.2 LaMDA
  • 8.2.3 Toolformer
  • 8.3 自主智能体
  • 8.3.1 自主智能体的组件
  • 8.3.2 自主智能体的工作流程
  • 8.4 小结
  • 第9章 大模型的进阶优化
  • 9.1 模型小型化
  • 9.1.1 模型量化
  • 9.1.2 知识蒸馏
  • 9.1.3 参数剪枝
  • 9.2 推理能力及其延伸
  • 9.2.1 思维链
  • 9.2.2 零样本思维链
  • 9.2.3 最少到最多提示
  • 9.2.4 ReAct：推理能力+行动能力
  • 9.3 代码生成
  • 9.3.1 Codex
  • 9.3.2 代码生成的要素
  • 9.4 多模态大模型
  • 9.4.1 BEiT-3
  • 9.4.2 CLIP
  • 9.4.3 Flamingo
  • 9.4.4 MiniGPT-4
  • 9.5 高质量数据的作用与构建
  • 9.5.1 LIMA
  • 9.5.2 教科书级数据
  • 9.6 模型能力“涌现”的原因
  • 9.7 小结
  • 第10章 大模型的局限性与未来发展方向
  • 10.1 大模型的局限性
  • 10.1.1 事实性错误
  • 10.1.2 理解和推理缺陷
  • 10.1.3 知识更新问题
  • 10.1.4 安全性问题
  • 10.1.5 计算资源限制
  • 10.2 大模型的未来发展方向
  • 10.2.1 更强的记忆：从通用到个性化
  • 10.2.2 装上“手脚”：赋予模型使用工具的能力
  • 10.2.3 多模态交互：穿越文本的边界
  • 10.3 小结
展开全部

评分及书评

评分不足
1个评分

出版方

机械工业出版社

机械工业出版社是全国优秀出版社，自1952年成立以来，坚持为科技、为教育服务，以向行业、向学校提供优质、权威的精神产品为宗旨，以“服务社会和人民群众需求，传播社会主义先进文化”为己任，产业结构不断完善，已由传统的图书出版向着图书、期刊、电子出版物、音像制品、电子商务一体化延伸，现已发展为多领域、多学科的大型综合性出版社，涉及机械、电工电子、汽车、计算机、经济管理、建筑、ELT、科普以及教材、教辅等领域。