科技 类型
可以朗读 语音朗读
122千字 字数
2021-06-01 发行日期
展开全部

主编推荐语

本书概述了机器学习中加速一阶优化算法的新进展。

内容简介

机器学习是关于从数据中建立预测或描述模型，以提升机器解决问题能力的学科。在建立模型后，需要采用适当的优化算法来求解模型的参数，因此优化算法是机器学习的重要组成部分。但是传统的优化算法并不完全适用于机器学习，因为通常来说机器学习模型的参数维度很高或涉及的样本数巨大，这使得一阶优化算法在机器学习中占据主流地位。

本书以介绍机器学习中的优化算法为主要内容，以当前机器学习会议的热门话题加速算法为主线，涵盖机器学习中常用的凸优化、非凸优化，以及随机优化和分布式优化。本书面向的读者对象是机器学习和优化领域的研究人员，包括人工智能、信号处理及应用数学特别是计算数学专业高年级本科生、研究生，以及从事人工智能、信号处理领域产品研发的工程师。

目录

  • 版权信息
  • 推荐序一
  • 推荐序二
  • 推荐序三
  • 中文版前言
  • 英文版前言
  • 参考文献
  • 致谢
  • 作者介绍
  • 符号表
  • 第1章 绪论
  • 1.1 机器学习中的优化问题举例
  • 1.1.1 正则化的经验损失模型
  • 1.1.2 矩阵填充及低秩学习模型
  • 1.2 一阶优化算法
  • 1.3 加速算法中的代表性工作综述
  • 1.4 关于本书
  • 参考文献
  • 第2章 无约束凸优化中的加速算法
  • 2.1 梯度下降法
  • 2.2 重球法
  • 2.3 加速梯度法
  • 2.4 求解复合凸优化问题的加速梯度法
  • 2.4.1 第一种Nesterov加速邻近梯度法
  • 2.4.2 第二种Nesterov加速邻近梯度法
  • 2.4.3 第三种Nesterov加速邻近梯度法
  • 2.5 非精确加速邻近梯度法
  • 2.5.1 非精确加速梯度法
  • 2.5.2 非精确加速邻近点法
  • 2.6 重启策略
  • 2.7 平滑策略
  • 2.8 高阶加速方法
  • 2.9 从变分的角度解释加速现象
  • 参考文献
  • 第3章 带约束凸优化中的加速算法
  • 3.1 线性等式约束问题的一些有用结论
  • 3.2 加速罚函数法
  • 3.2.1 一般凸目标函数
  • 3.2.2 强凸目标函数
  • 3.3 加速拉格朗日乘子法
  • 3.3.1 原始问题的解
  • 3.3.2 加速增广拉格朗日乘子法
  • 3.4 交替方向乘子法及非遍历意义下的加速算法
  • 3.4.1 情形1：一般凸和非光滑目标函数
  • 3.4.2 情形2：强凸非光滑目标函数
  • 3.4.3 情形3：一般凸和光滑目标函数
  • 3.4.4 情形4：强凸和光滑目标函数
  • 3.4.5 非遍历意义收敛速度
  • 3.5 原始-对偶算法
  • 3.5.1 情形1：两个函数均非强凸
  • 3.5.2 情形2：只有一个函数强凸
  • 3.5.3 情形3：两个函数均强凸
  • 3.6 Frank-Wolfe算法
  • 参考文献
  • 第4章 非凸优化中的加速梯度算法
  • 4.1 带冲量的邻近梯度法
  • 4.1.1 收敛性理论
  • 4.1.2 单调加速邻近梯度法
  • 4.2 快速收敛到临界点
  • 4.2.1 能够检测强凸性质的AGD
  • 4.2.2 负曲率下降算法
  • 4.2.3 非凸加速算法
  • 4.3 快速逃离鞍点
  • 4.3.1 几乎凸的情形
  • 4.3.2 完全非凸情形
  • 4.3.3 非凸加速梯度下降法
  • 参考文献
  • 第5章 加速随机算法
  • 5.1 各自凸情况
  • 5.1.1 加速随机坐标下降算法
  • 5.1.2 方差缩减技巧基础算法
  • 5.1.3 加速随机方差缩减方法
  • 5.1.4 黑盒加速算法
  • 5.2 各自非凸情况
  • 5.3 非凸情况
  • 5.3.1 随机路径积分差分估计子
  • 5.3.2 冲量加速
  • 5.4 带约束问题
  • 5.5 无穷情况
  • 参考文献
  • 第6章 加速并行算法
  • 6.1 加速异步算法
  • 6.1.1 异步加速梯度下降算法
  • 6.1.2 异步加速随机坐标下降算法
  • 6.2 加速分布式算法
  • 6.2.1 中心化模式
  • 6.2.2 去中心化模式
  • 参考文献
  • 第7章 总结
  • 参考文献
  • 附录A 数学基础
  • A.1 代数与概率
  • A.2 凸分析
  • A.3 非凸分析
  • 参考文献
  • 缩略语表
  • 索引
展开全部

评分及书评

评分不足
1个评分

出版方

机械工业出版社有限公司

机械工业出版社是全国优秀出版社，自1952年成立以来，坚持为科技、为教育服务，以向行业、向学校提供优质、权威的精神产品为宗旨，以“服务社会和人民群众需求，传播社会主义先进文化”为己任，产业结构不断完善，已由传统的图书出版向着图书、期刊、电子出版物、音像制品、电子商务一体化延伸，现已发展为多领域、多学科的大型综合性出版社，涉及机械、电工电子、汽车、计算机、经济管理、建筑、ELT、科普以及教材、教辅等领域。