科技
类型
可以朗读
语音朗读
82千字
字数
2019-09-01
发行日期
展开全部
主编推荐语
深度学习入门!不借助框架,用Python从头创建深度学习模型,带你闯关的算法书。
内容简介
深度学习是机器学习的重要分支。本书系统地介绍了如何用 Python和 NumPy一步步地实现深度学习的基础模型,无须借助TensorFlow、PyTorch等深度学习框架,帮助读者更好地理解底层算法的脉络,进而进行模型的定制、优化和改进。全书由简到难地讲述感知机模型、多分类神经网络、深层全连接网络、卷积神经网络、批量规范化方法、循环神经网络、长短时记忆网络、双向结构的 BiGRU模型等神经网络模型的必要算法推导、实现及其实例,读者可直接动手调试和观察整个训练过程,进一步理解模型及其算法原理。
目录
- 版权信息
- 前言
- 符号表
- 第1章 基础分类模型
- 1.1 深度学习简介
- 1.2 目标问题:空间中的二分类
- 1.3 感知机模型
- 1.3.1 感知机函数
- 1.3.2 损失函数
- 1.3.3 感知机学习算法
- 1.4 算法实现
- 1.4.1 环境搭建
- 1.4.2 数据准备
- 1.4.3 实现感知机算法
- 1.5 小结
- 参考文献
- 第2章 第一个神经网络
- 2.1 目标问题:MNIST手写数字识别
- 2.1.1 数据集
- 2.1.2 图像数据和图向量
- 2.2 挑战:从二分类到多分类
- 2.3 Softmax方法
- 2.4 正确分类的独热编码
- 2.5 损失函数——交叉熵
- 2.6 信息熵和交叉熵
- 2.6.1 信息熵
- 2.6.2 交叉熵
- 2.7 第一个神经网络的学习算法
- 2.8 反向传播
- 2.9 抽象泄漏
- 2.10 算法实现
- 2.10.1 数据准备
- 2.10.2 实现第一个神经网络
- 2.10.3 实现MINIST手写数字识别
- 2.11 小结
- 参考文献
- 第3章 多层全连接神经网络
- 3.1 第一个挑战:异或问题
- 3.2 更深的神经网络——隐藏层
- 3.3 第二个挑战:参数拟合的两面性
- 3.4 过拟合与正则化
- 3.4.1 欠拟合与过拟合
- 3.4.2 正则化
- 3.4.3 正则化的效果
- 3.5 第三个挑战:非线性可分问题
- 3.6 激活函数
- 3.7 算法和结构
- 3.8 算法实现
- 3.8.1 数据准备
- 3.8.2 实现多层全连接神经网络
- 3.8.3 在数据集上验证模型
- 3.9 小结
- 参考文献
- 第4章 卷积神经网络(CNN)
- 4.1 挑战:参数量和训练成本
- 4.2 卷积神经网络的结构
- 4.2.1 卷积层
- 4.2.2 池化层
- 4.2.3 全连接层和Softmax处理
- 4.3 卷积神经网络学习算法
- 4.3.1 全连接层
- 4.3.2 池化层反向传播
- 4.3.3 卷积层反向传播
- 4.4 算法实现
- 4.4.1 数据准备
- 4.4.2 卷积神经网络模型的原始实现
- 4.5 小结
- 参考文献
- 第5章 卷积神经网络——算法提速和优化
- 5.1 第一个挑战:卷积神经网络的运算效率
- 5.2 提速改进
- 5.2.1 边缘填充提速
- 5.2.2 池化层提速
- 5.2.3 卷积层处理
- 5.3 反向传播算法实现
- 5.3.1 池化层反向传播
- 5.3.2 卷积层反向传播
- 5.4 第二个挑战:梯度下降的幅度和方向
- 5.5 递减学习率参数
- 5.6 学习策略的优化方法
- 5.6.1 动量方法
- 5.6.2 NAG方法
- 5.6.3 Adagrad方法
- 5.6.4 RMSprop方法
- 5.6.5 AdaDelta方法
- 5.6.6 Adam方法
- 5.6.7 各种优化方法的比较
- 5.7 总体模型结构
- 5.8 使用CNN实现MNIST手写数字识别验证
- 5.9 小结
- 参考文献
- 第6章 批量规范化(Batch Normalization)
- 6.1 挑战:深度神经网络不易训练
- 6.2 批量规范化方法的初衷
- 6.2.1 数据集偏移
- 6.2.2 输入分布偏移
- 6.2.3 内部偏移
- 6.3 批量规范化的算法
- 6.3.1 训练时的前向计算
- 6.3.2 规范化与标准化变量
- 6.3.3 推理预测时的前向计算
- 6.3.4 全连接层和卷积层的批量规范化处理
- 6.4 批量规范化的效果
- 6.4.1 梯度传递问题
- 6.4.2 饱和非线性激活问题
- 6.4.3 正则化效果
- 6.5 批量规范化为何有效
- 6.6 批量规范化的反向传播算法
- 6.7 算法实现
- 6.7.1 训练时的前向传播
- 6.7.2 反向传播
- 6.7.3 推理预测
- 6.8 调整学习率和总体结构
- 6.8.1 模型结构
- 6.8.2 卷积层批量规范化的实现
- 6.8.3 引入批量规范化后的递减学习率
- 6.9 在MNIST数据集上验证结果
- 6.10 小结
- 参考文献
- 第7章 循环神经网络(Vanilla RNN)
- 7.1 第一个挑战:序列特征的捕捉
- 7.2 循环神经网络的结构
- 7.2.1 单层RNN
- 7.2.2 双向RNN
- 7.2.3 多层RNN
- 7.3 RNN前向传播算法
- 7.4 RNN反向传播算法
- 7.4.1 误差的反向传播
- 7.4.2 激活函数的导函数和参数梯度
- 7.5 第二个挑战:循环神经网络的梯度传递问题
- 7.6 梯度裁剪
- 7.7 算法实现
- 7.8 目标问题:序列数据分析
- 7.8.1 数据准备
- 7.8.2 模型搭建
- 7.8.3 验证结果
- 7.9 小结
- 参考文献
- 第8章 长短时记忆网络(LSTM)——指数分析
- 8.1 目标问题:投资市场的指数分析
- 8.2 挑战:梯度弥散问题
- 8.3 长短时记忆网络的结构
- 8.4 LSTM前向传播算法
- 8.5 LSTM反向传播算法
- 8.5.1 误差反向传播
- 8.5.2 激活函数的导函数和参数梯度
- 8.6 算法实现
- 8.6.1 实现LSTM单时间步的前向计算
- 8.6.2 实现LSTM多层多时间步的前向计算
- 8.6.3 实现LSTM单时间步的反向传播
- 8.6.4 实现LSTM多层多时间步的反向传播
- 8.7 实现沪深300指数分析
- 8.7.1 数据准备
- 8.7.2 模型构建
- 8.7.3 分析结果
- 8.8 小结
- 参考文献
- 第9章 双向门控循环单元(BiGRU)——情感分析
- 9.1 目标问题:情感分析
- 9.2 第一个挑战:模型的运算效率
- 9.3 GRU模型的结构
- 9.4 GRU前向传播算法
- 9.5 GRU前向传播表达式的其他写法
- 9.6 GRU反向传播算法
- 9.7 GRU算法实现
- 9.7.1 单时间步的前向计算
- 9.7.2 实现单时间步的反向传播
- 9.8 用GRU模型进行情感分析
- 9.8.1 数据预处理
- 9.8.2 构建情感分析模型
- 9.9 首次验证
- 9.10 第二个挑战:序列模型的过拟合
- 9.11 Dropout正则化
- 9.11.1 Dropout前向传播算法
- 9.11.2 Dropout反向传播算法
- 9.11.3 Dropout Rate的选择
- 9.12 再次验证:GRU+Dropout
- 9.13 第三个挑战:捕捉逆序信息
- 9.14 双向门控循环单元(BiGRU)
- 9.15 第三次验证:BiGRU+Dropout
- 9.16 小结
- 参考文献
- 附录A 向量和矩阵运算
- 附录B 导数和微分
- 附录C 向量和矩阵导数
- 附录D 概率论和数理统计
- 后记
- 索引
展开全部
出版方
电子工业出版社
电子工业出版社成立于1982年10月,是国务院独资、工信部直属的中央级科技与教育出版社,是专业的信息技术知识集成和服务提供商。经过三十多年的建设与发展,已成为一家以科技和教育出版、期刊、网络、行业支撑服务、数字出版、软件研发、软科学研究、职业培训和教育为核心业务的现代知识服务集团。出版物内容涵盖了电子信息技术的各个分支及工业技术、经济管理、科普与少儿、社科人文等领域,综合出版能力位居全国出版行业前列。