计算机 类型
可以朗读 语音朗读
351千字 字数
2023-07-01 发行日期
展开全部

主编推荐语

介绍分布式机器学习的概念、基础设施、框架和软件系统。

内容简介

本书主要讲解分布式机器学习算法和开源框架，读者既可以从宏观的设计上了解分布式机器学习的概念和理论，也可以深入核心技术的细节设计中，对分布式机器学习形成深刻而直观的认识，做到学以致用。

目录

  • 版权信息
  • 内容简介
  • 前言
  • 1 分布式基础
  • 第1章 分布式机器学习
  • 1.1 机器学习概念
  • 1.2 机器学习的特点
  • 1.3 分布式训练的必要性
  • 1.4 分布式机器学习研究领域
  • 1.5 从模型角度看如何并行
  • 1.6 从训练并发角度看如何并行
  • 1.7 分布式机器学习编程接口
  • 1.8 PyTorch分布式
  • 1.9 总结
  • 第2章 集合通信
  • 2.1 通信模式
  • 2.2 点对点通信
  • 2.3 集合通信
  • 2.4 MPI AllReduce
  • 2.5 Ring All-Reduce
  • 第3章 参数服务器之PS-Lite
  • 3.1 参数服务器
  • 3.2 基础模块Postoffice
  • 3.3 通信模块Van
  • 3.4 代理人Customer
  • 3.5 应用节点实现
  • 2 数据并行
  • 第4章 PyTorch DataParallel
  • 4.1 综述
  • 4.2 示例
  • 4.3 定义
  • 4.4 前向传播
  • 4.5 计算损失
  • 4.6 反向传播
  • 4.7 总结
  • 第5章 PyTorch DDP的基础架构
  • 5.1 DDP总述
  • 5.2 设计理念
  • 5.3 基础概念
  • 5.4 架构和初始化
  • 第6章 PyTorch DDP的动态逻辑
  • 6.1 Reducer类
  • 6.2 前向/反向传播
  • 第7章 Horovod
  • 7.1 从使用者角度切入
  • 7.2 horovodrun
  • 7.3 网络基础和Driver
  • 7.4 DistributedOptimizer
  • 7.5 融合框架
  • 7.6 后台线程架构
  • 3 流水线并行
  • 第8章 GPipe
  • 8.1 流水线基本实现
  • 8.2 梯度累积
  • 8.3 Checkpointing
  • 第9章 PyTorch流水线并行
  • 9.1 如何划分模型
  • 9.2 切分数据和Runtime系统
  • 9.3 前向计算
  • 9.4 计算依赖
  • 9.5 并行计算
  • 第10章 PipeDream之基础架构
  • 10.1 总体思路
  • 10.2 profile阶段
  • 10.3 计算分区阶段
  • 10.4 转换模型阶段
  • 第11章 PipeDream之动态逻辑
  • 11.1 Runtime引擎
  • 11.2 通信模块
  • 11.3 1F1B策略
  • 4 模型并行
  • 第12章 Megatron
  • 12.1 设计思路
  • 12.2 模型并行实现
  • 12.3 如何设置各种并行
  • 12.4 Pipedream的流水线刷新
  • 第13章 PyTorch如何实现模型并行
  • 13.1 PyTorch模型并行
  • 13.2 分布式自动求导之设计
  • 13.3 RPC基础
  • 13.4 上下文相关
  • 13.5 如何切入引擎
  • 13.6 自动求导引擎
  • 第14章 分布式优化器
  • 14.1 原生优化器
  • 14.2 DP的优化器
  • 14.3 DDP的优化器
  • 14.4 Horovod的优化器
  • 14.5 模型并行的分布式问题
  • 14.6 PyTorch分布式优化器
  • 14.7 PipeDream分布式优化器
  • 5 TensorFlow分布式
  • 第15章 分布式运行环境之静态架构
  • 15.1 总体架构
  • 15.2 Server
  • 15.3 Master的静态逻辑
  • 15.4 Worker的静态逻辑
  • 第16章 分布式运行环境之动态逻辑
  • 16.1 Session机制
  • 16.2 Master动态逻辑
  • 16.3 Worker动态逻辑
  • 16.4 通信机制
  • 第17章 分布式策略基础
  • 17.1 使用TensorFlow进行分布式训练
  • 17.2 DistributedStrategy基础
  • 17.3 分布式变量
  • 第18章 MirroredStrategy
  • 18.1 MirroredStrategy集合通信
  • 18.2 MirroredStrategy分发计算
  • 第19章 ParameterServerStrategy
  • 19.1 ParameterServerStrategyV1
  • 19.2 ParameterServerStrategyV2
  • 19.3 ClusterCoordinator
  • 反侵权盗版声明
展开全部

评分及书评

尚无评分
目前还没人评分

出版方

电子工业出版社

电子工业出版社成立于1982年10月，是国务院独资、工信部直属的中央级科技与教育出版社，是专业的信息技术知识集成和服务提供商。经过三十多年的建设与发展，已成为一家以科技和教育出版、期刊、网络、行业支撑服务、数字出版、软件研发、软科学研究、职业培训和教育为核心业务的现代知识服务集团。出版物内容涵盖了电子信息技术的各个分支及工业技术、经济管理、科普与少儿、社科人文等领域，综合出版能力位居全国出版行业前列。