- 给这本书评了4.0深度学习。
BP 算法是 "误差反向传播" 的简称,是一种与最优化方法(如梯度下降法)结合使用的,用来训练人工神经网络的常见方法。该方法对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法,用来更新权值以最小化损失函数。BP 网络的结构降法的基础上。BP 网络的输入输出关系实质上是一种映射关系:一个输入 m 输出的 BP 神经网络所完成的功能是从一维欧氏空间向 m 维欧氏空间中一有限域的连续映射,这一映射具有高度非线性。它的信息处理能力来源于简单非线性函数的多次复合,因此具有很强的函数复现能力。这是 BP 算法得以应用的基础。反向传播算法主要由两个环节 (激励传播、权重更新) 反复循环迭代,直到网络的对输入的响应达到预定的目标范围为止。BP 算法的学习过程由正向传播过程和反向传播过程组成。在正向传播过程中,输入信息通过输入层经隐含层,逐层处理并传向输出层。如果在输出层得不到期望的输出值,则取输出与期望的误差的平方和作为目标函数,转入反向传播,逐层求出目标函数对各神经元权值的偏导数,构成目标函数对权值向量的梯量,作为修改权值的依据,网络的学习在权值修改过程中完成。误差达到所期望值时,网络学习结束。线性代数是理解深度学习所必须掌握的基础数学学科之一。另一门在机器学习中无处不在的重要数学学科是概率论。概率论使我们能够提出不确定的声明以及在不确定性存在的情况下进行推理,而信息论使我们能够量化概率分布中的不确定性总量。概率分布 (probabilitydistribution) 用来描述随机变量或一簇随机变量在每一个可能取到的状态的可能性大小。我们描述概率分布的方式取决于随机变量是离散的还是连续的。许多简单的概率分布在机器学习的众多领域中都是有用的。Bernoulli 分布 (Bernoullidistribution) 是单个二值随机变量的分布。Multinoulli 分布 (multinoullidistribution) 或者范畴分布 (categoricaldistribution) 是指在具有 k 个不同状态的单个离散型随机变量上的分布,其中 k 是一个有限值。实数上最常用的分布就是正态分布 (normaldistribution),也称为高斯分布 (Gaussiandistribution)。在深度学习中,我们经常会需要一个在 x=0 点处取得边界点 (sharppoint) 的分布。为了实现这一目的,我们可以使用指数分布 (exponentialdistribution)。决定机器学习算法效果是否好的因素:(1) 降低训练误差。(2) 缩小训练误差和测试误差的差距。机器学习研究的目标不是找一个通用学习算法或是绝对最好的学习算法,而是理解什么样的分布与人工智能获取经验的 "真实世界" 相关,以及什么样的学习算法在我们关注的数据生成分布上效果最好。统计领域为我们提供了很多工具来实现机器学习目标,不仅可以解决训练集上的任务,还可以泛化。基本的概念,例如参数估计、偏差和方差,对于正式地刻画泛化、欠拟合和过拟合都非常有帮助。如何解决监督学习问题,即在给定足够的映射样本的情况下,学习将一个向量映射到另一个。其中比较有趣的:设计 GAN 的主要动机是学习过程既不需要近似推断,也不需要配分函数梯度的近似。
1转发同时评论快速转发评论4分享「微信」扫码分享