自然科学总论
类型
可以朗读
语音朗读
143千字
字数
2024-07-01
发行日期
展开全部
主编推荐语
系统性地介绍了深度学习模型压缩与优化的核心技术。
内容简介
本书共9章，主要内容有：深度学习模型性能评估、模型可视化、轻量级模型设计、模型剪枝、模型量化、迁移学习与知识蒸馏、自动化模型设计、模型优化与部署工具。本书理论知识体系完备，同时提供了大量实例，供读者实战演练。
目录
- 版权信息
- 内容简介
- 前言
- 第1章 引言
- 1.1 人工智能时代背景
- 1.2 数据处理
- 1.2.1 大数据时代背景
- 1.2.2 数据获取
- 1.2.3 数据清洗与整理
- 1.3 算法基础
- 1.3.1 卷积的概念
- 1.3.2 CNN基础
- 1.4 计算芯片
- 1.4.1 GPU
- 1.4.2 ARM
- 1.5 深度学习框架
- 1.5.1 Caffe
- 1.5.2 TensorFlow
- 1.5.3 PyTorch
- 第2章 模型性能评估
- 2.1 性能指标
- 2.1.1 基准模型
- 2.1.2 参数量
- 2.1.3 计算量与内存访问代价
- 2.1.4 计算速度
- 2.1.5 并行化程度
- 2.1.6 能耗
- 2.2 学术与产业竞赛
- 第3章 模型可视化
- 3.1 模型可视化基础
- 3.1.1 为什么要研究模型可视化
- 3.1.2 模型可视化的研究方向
- 3.2 模型结构可视化
- 3.2.1 Netscope可视化工具
- 3.2.2 TensorBoard可视化工具
- 3.2.3 Graphiz可视化工具
- 3.2.4 Netron可视化工具
- 3.3 模型参数与特征可视化
- 3.3.1 参数可视化
- 3.3.2 激活值可视化
- 3.3.3 工具
- 3.4 输入区域重要性可视化
- 3.4.1 基本原理
- 3.4.2 基于反向传播的输入可视化
- 3.4.3 类激活映射可视化
- 3.5 输入激活模式可视化
- 3.5.1 概述
- 3.5.2 梯度计算法
- 3.5.3 反卷积法
- 3.5.4 网络反转法
- 3.5.5 小结
- 3.6 模型可视化分析实践
- 3.6.1 基于梯度计算法的可视化
- 3.6.2 反卷积可视化
- 3.6.3 CAM可视化
- 3.6.4 小结
- 第4章 轻量级模型设计
- 4.1 卷积核的使用和设计
- 4.1.1 全连接层的压缩
- 4.1.2 小卷积核的应用
- 4.2 卷积拆分与分组
- 4.2.1 卷积拆分操作
- 4.2.2 分组卷积Xception与MobileNet
- 4.2.3 ShuffleNet
- 4.2.4 级连通道分组网络
- 4.2.5 多分辨率卷积核通道分组网络
- 4.2.6 多尺度通道分组网络
- 4.2.7 多精度分组网络
- 4.3 特征与参数重用设计
- 4.3.1 特征重用
- 4.3.2 参数重用
- 4.4 动态自适应模型设计
- 4.4.1 什么是动态模型
- 4.4.2 基于提前终止与模块丢弃原理的动态模型
- 4.4.3 基于注意力感知的动态模型
- 4.5 卷积乘法操作优化和设计
- 4.5.1 移位网络
- 4.5.2 加法网络
- 4.5.3 移位网络与加法网络结合
- 4.6 重参数化技巧
- 4.6.1 网络层合并
- 4.6.2 分支合并
- 4.7 新颖算子设计
- 4.8 低秩稀疏化设计
- 第5章 模型剪枝
- 5.1 模型剪枝基础
- 5.1.1 什么是模型剪枝
- 5.1.2 模型剪枝的粒度
- 5.2 模型稀疏学习
- 5.2.1 权重正则化约束
- 5.2.2 基于网络结构的设计
- 5.3 非结构化剪枝技术
- 5.3.1 基于优化目标的方法
- 5.3.2 基于权重幅度的方法
- 5.3.3 向量剪枝技术
- 5.4 结构化剪枝技术
- 5.4.1 基于重要性因子的剪枝算法
- 5.4.2 基于输出重建误差的通道剪枝算法
- 5.4.3 基于优化目标敏感性的剪枝算法
- 5.4.4 卷积核剪枝和通道剪枝的差异
- 5.5 模型剪枝的一些其他问题
- 5.5.1 剪枝的必要性
- 5.5.2 训练策略
- 5.5.3 整个网络同时剪枝
- 5.5.4 运行时剪枝
- 5.6 图像分类模型结构化剪枝实践
- 5.6.1 模型定义与数据集
- 5.6.2 模型训练
- 5.6.3 模型剪枝
- 5.6.4 残差网络剪枝
- 5.6.5 小结
- 第6章 模型量化
- 6.1 模型量化基础
- 6.1.1 什么是模型量化
- 6.1.2 量化的优势
- 6.2 二值量化算法
- 6.2.1 基于阈值映射函数的方法
- 6.2.2 基于重建误差的方法
- 6.2.3 从二值量化模型到三值量化模型
- 6.2.4 二值量化的主要问题
- 6.3 8bit量化算法
- 6.3.1 基于变换函数的非对称量化
- 6.3.2 基于信息损失的对称量化
- 6.4 混合精度量化算法
- 6.4.1 一般混合精度量化算法
- 6.4.2 自动位宽学习
- 6.5 半精度浮点数训练算法
- 6.6 模型量化的一些其他问题
- 6.6.1 非均匀量化
- 6.6.2 更稳定地训练量化模型
- 6.6.3 量化训练与离线量化的比较
- 6.7 基于TensorRT框架的模型量化推理实践
- 6.7.1 项目简介
- 6.7.2 量化算法实现
- 6.7.3 TensorRT模型量化与推理
- 第7章 迁移学习与知识蒸馏
- 7.1 迁移学习与知识蒸馏基础
- 7.1.1 迁移学习的基本概念
- 7.1.2 知识蒸馏的基本概念
- 7.2 基于优化目标驱动的知识蒸馏
- 7.2.1 预训练大模型框架
- 7.2.2 大模型与小模型共同学习框架
- 7.2.3 小结
- 7.3 基于特征匹配的知识蒸馏
- 7.3.1 基本框架
- 7.3.2 注意力机制的使用
- 7.4 自蒸馏框架
- 7.4.1 深度协同学习
- 7.4.2 自监督学习
- 7.4.3 自进化学习
- 7.5 知识蒸馏的一些问题
- 7.5.1 教师模型是否越强越好
- 7.5.2 学生模型与教师模型的相互学习
- 7.6 基于经典知识蒸馏的图像分类实践
- 7.6.1 基准模型定义
- 7.6.2 基准模型训练
- 7.6.3 知识蒸馏学习
- 7.6.4 小结
- 第8章 自动化模型设计
- 8.1 自动化机器学习基础
- 8.1.1 什么是AutoML
- 8.1.2 AutoML在数据工程中的应用
- 8.1.3 AutoML在超参数优化中的典型应用
- 8.1.4 现有的AutoML系统
- 8.2 神经网络结构搜索基础
- 8.2.1 什么是NAS
- 8.2.2 NAS的搜索空间
- 8.2.3 NAS的搜索策略
- 8.2.4 NAS的评估
- 8.3 基于栅格搜索的NAS
- 8.3.1 网络基础参数搜索
- 8.3.2 网络拓扑结构搜索
- 8.4 基于强化学习的NAS
- 8.4.1 强化学习基础
- 8.4.2 基本方法
- 8.4.3 NASNet
- 8.4.4 MNASNet
- 8.5 基于进化算法的NAS
- 8.5.1 进化算法简介
- 8.5.2 Genetic CNN算法
- 8.5.3 与NASNet的结合
- 8.6 可微分NAS
- 8.7 NAS与其他模型压缩方法结合
- 8.7.1 自动化模型剪枝
- 8.7.2 自动化模型量化
- 8.7.3 自动化模型蒸馏
- 8.8 当前NAS的一些问题
- 第9章 模型优化与部署工具
- 9.1 模型优化工具
- 9.1.1 TensorFlow和PocketFlow框架
- 9.1.2 PaddlePaddle框架
- 9.1.3 PyTorch和Distiller框架
- 9.1.4 NNI框架
- 9.1.5 小结
- 9.2 模型部署工具
- 9.2.1 模型部署基础
- 9.2.2 ONNX标准
- 9.2.3 NVIDIA GPU推理框架TensorRT
- 9.2.4 专用模型推理框架
- 9.2.5 通用移动端模型推理框架
- 9.2.6 小结
- 9.3 基于NCNN的模型优化部署实战
- 9.3.1 软硬件平台介绍
- 9.3.2 模型格式转换
- 9.3.3 模型部署测试
- 9.3.4 小结
展开全部
评分及书评
尚无评分
目前还没人评分
出版方
电子工业出版社
电子工业出版社成立于1982年10月，是国务院独资、工信部直属的中央级科技与教育出版社，是专业的信息技术知识集成和服务提供商。经过三十多年的建设与发展，已成为一家以科技和教育出版、期刊、网络、行业支撑服务、数字出版、软件研发、软科学研究、职业培训和教育为核心业务的现代知识服务集团。出版物内容涵盖了电子信息技术的各个分支及工业技术、经济管理、科普与少儿、社科人文等领域，综合出版能力位居全国出版行业前列。
