4.0
用户推荐指数
可以朗读 语音朗读
320千字 字数
2024-04-01 发行日期
展开全部

主编推荐语

一本书读懂大语言模型的前世今生。

内容简介

本书深入阐述了大语言模型的基本概念和算法、研究前沿以及应用，涵盖大语言模型的广泛主题，从基础到前沿，从方法到应用，涉及从方法论到应用场景方方面面的内容。

首先，本书介绍了人工智能领域的进展和趋势；其次，探讨了语言模型的基本概念和架构、Transformer、预训练目标和解码策略、上下文学习和轻量级微调、稀疏专家模型、检索增强型语言模型、对齐语言模型与人类偏好、减少偏见和有害性以及视觉语言模型等内容；最后，讨论了语言模型对环境的影响。

目录

  • 版权信息
  • 内容提要
  • 资源与支持
  • 前言
  • 第1章 大语言模型：辩论、争议与未来发展方向
  • 1.1 新时代的曙光
  • 1.2 LLM有意识吗
  • 1.3 未来发展方向
  • 1.4 小结
  • 第2章 语言模型和分词
  • 2.1 语言建模的挑战
  • 2.2 统计语言建模
  • 2.3 神经语言模型
  • 2.4 评估语言模型
  • 2.5 分词
  • 2.6 小结
  • 第3章 Transformer
  • 3.1 Transformer编码器模块
  • 3.2 编码器-解码器架构
  • 3.3 位置嵌入
  • 3.4 更长的上下文
  • 3.5 外部记忆
  • 3.6 更快、更小的Transformer
  • 3.7 推理优化
  • 3.8 小结
  • 第4章 预训练目标和解码策略
  • 4.1 模型架构
  • 4.2 预训练目标
  • 4.3 具有代表性的语言模型
  • 4.4 解码策略
  • 4.5 小结
  • 第5章 上下文学习和轻量级微调
  • 5.1 上下文学习
  • 5.2 提示语言模型的校准
  • 5.3 轻量级微调
  • 5.4 小结
  • 第6章 训练更大的模型
  • 6.1 扩大尺度法则
  • 6.2 涌现能力
  • 6.3 人工智能加速器
  • 6.4 并行
  • 6.5 混合训练和低精度训练
  • 6.6 其他节省内存的设计
  • 6.7 小结
  • 第7章 稀疏专家模型
  • 7.1 为什么采用稀疏专家模型
  • 7.2 路由算法
  • 7.3 其他改进措施
  • 7.4 小结
  • 第8章 检索增强型语言模型
  • 8.1 预训练检索增强型语言模型
  • 8.2 词元级检索
  • 8.3 通过高效和精简检索进行问答和多跳推理
  • 8.4 检索增强型Transformer
  • 8.5 检索增强型黑盒语言模型
  • 8.6 视觉增强语言建模
  • 8.7 小结
  • 第9章 对齐语言模型与人类偏好
  • 9.1 基于人类反馈进行微调
  • 9.2 基于语言反馈进行微调
  • 9.3 基于监督学习进行微调
  • 9.4 基于人工智能反馈的强化学习
  • 9.5 基于自我反馈进行迭代优化
  • 9.6 基于人类偏好进行预训练
  • 9.7 小结
  • 第10章 减少偏见和有害性
  • 10.1 偏见
  • 10.2 有害性
  • 10.3 偏见和有害性的检测与减少
  • 10.4 小结
  • 第11章 视觉语言模型
  • 11.1 语言处理的多模态落地
  • 11.2 不需要额外训练即可利用预训练模型
  • 11.3 轻量级适配
  • 11.4 图文联合训练
  • 11.5 检索增强视觉语言模型
  • 11.6 视觉指令调整
  • 11.7 小结
  • 第12章 环境影响
  • 12.1 能源消耗和温室气体排放
  • 12.2 估算训练模型的排放量
  • 12.3 小结
  • 参考文献
展开全部

评分及书评

4.0
3个评分

出版方

人民邮电出版社

人民邮电出版社是工业和信息化部主管的大型专业出版社，成立于1953年10月1日。人民邮电出版社坚持“立足信息产业、面向现代社会、传播科学知识、服务科教兴国”，致力于通信、计算机、电子技术、教材、少儿、经管、摄影、集邮、旅游、心理学等领域的专业图书出版。