这是一本中文版译名严重耽误的好书，是我看过的了解大模型和 AI 最好的一本书。最近在看很多国外的报道时，发现涉及到 AI 的历史时，经常会看到引用一本英文名叫《Genius Makers》的书里的细节，如果直译的话就是《天才创造者》，而小标题是 “将人工智能带入谷歌、脸书和世界”。被里面百度、微软、谷歌几千万美金竞标辛顿团队的细节吸引，就想着有没有中文版。然后发现 2022 年 12 月才有中文版，并且把人家那么好的书名改成了现在的书名《深度学习革命 - 从历史到未来》，像极了一本攒出来的三流计算机院校的课外拓展读物。以至于连我这种啥书都能翻开看看的，都没有注意到得到站内也有这本电子书。这是我读过的了解 AI 来龙去脉最好的一本书，不需要技术背景，里面是一个个的在 AI 历史上闪耀的人物。当我们今年都被 ChatGPT 惊艳的时候，其实你会发现，有很多很多人，已经为了今天奋战了一辈子，都在说大模型的能力是涌现出来的，但是涌现，也是需要有土壤有环境的。这本书在当当的计算机 - 人工智能这么细分的排行榜上，我昨天看都不到前 100 名，前面充斥着大量赶 ChatGPT 热点出来的书。所以起一个好的书名，太重要了。如果我是这本书的编辑的话，我心目中最合适的书名是《AI 群星闪耀时》，或者直接用人家英文原书名直译。这本书最大的劣势是写在了 ChatGPT 爆发的前夜，这里面的 OpenAI 还在研究用机械臂玩魔方呢。值得翻开一读，各种好看的小故事和细节，每个人都很动人。

每日一书《深度学习革命》。“当你认为自己了解的几乎所有事情都不对的时候，这就是活着的最佳时机。当我们发现了所有的奥秘，并失去了所有的意义时，我们将会在空荡荡的海边孤身一人。” 本书叙述是人工智能神经网络的发展历程，时间线从上世纪 60 年代 “感知机” 开始讲起，一直到 2020 年（所以，ChatGPT 发布后爆炸式的发展并未涵盖）。本书源于作者作为《连线》杂志和《纽约时报》报道人工智能的 8 年间对 400 多人的采访，以及 100 多次的专访编撰而成，阅读群体面向大众（所以技术门槛不高），叙事主线清晰，书中含有大量的人工智能大佬的观点和动向，值得一读。为什么读人工智能历史？我认为单纯学技术是学习 WHAT，HOW 的问题，而读历史则是思考 WHY 的问题。神经网络的概念 20 世纪 50 年代就已产生，但在其后 50 多年时间里，人们并不相信这项理论能有什么应用前景，直至最近 10 年的人工智能浪潮大发展。读这些历史才能明白：✅ 1. 基础科学理论非常重要，但是它的重要性会滞后体现。（“神经网络的概念可以追溯到 20 世纪 50 年代，但是早期的开拓者从未让这项技术像他们希望的那样工作。到了 21 世纪，大多数研究人员都放弃了这项技术，认为这是一条技术上的死胡同，并对研究人员在过去 50 年间试图让数学系统以某种方式模仿人类大脑的自负探索感到困惑。”）✅ 2. 在漫长的 “无成果期”，总有些 “疯子” 还在一如既往的坚持，最后也是这些 “疯子” 最终改变了世界。向辛顿这样的在漫漫长夜里依然砥砺前行的科技先驱者致敬🫡✅ 3. 伟大的科学发现都是来源于 “直觉 + 信仰 + 偶然”，而非 “理性 + 实验 + 计划”。前者为后者提供了方向，而后者为前者提供了验证方法。所以，“科技孵化土壤” 不在于规划有多好，关键在于能容纳不同意见，尊重人才，有成熟的投融资体制等。✅ 4. 开放和连接对于科技发展极为重要，具体表现在人才，数据等关键科研要素的自由流动和开放。人类学习和认知复杂事物之所以可能，是因为几百万年（甚至更久）的漫长时间里，我们的祖先进化出了具备如此 “学习能力和容量” 的大脑。机器学习大概也是同一个道理，只不过它的演化速度远远超出人脑，也许不久的将来，在很多领域的智能将会超过人脑。DeepMind 和 OpenAI 这种公司的目标就是不遗余力的实现通用人工智能，并以极快的速度进化。“一旦超级智能到来，人类如何与它共存？” 变成了人类是 “超越” 还是 “毁灭” 的重大问题。对此，马斯克给出的答案是这需要大脑和机器之间的直接联系（脑机接口），如此一来人工智能变成了大脑的 “自然延伸”，而不是 “终结者”。“对人工智能发展是否有信心” 这个问题说到底是 “对人类自身是否有信心”，相信人类可以战胜自身的贪婪和恐惧，相信人类可以再次有效 “制造和使用工具” 突破自身的生物脑的智能局限，迎来全新的时代。对此，我们真的相信吗？（另外一本哲学论文集《人工智能的神话或悲歌》供参考）

在 Chat-gpt 火遍全球的时候，读这本书确实非常应景。AI 已经迎来它自己的 iPhone 时刻，最重要的是如何用好 AI，为每一个人和公司赋能。

在《深度学习革命》一书中，凯德・梅茨不仅是作为一位见证者，更是作为一位深度学习领域的开拓者和贡献者，向我们展现了深度学习如何从一个边缘的研究领域，发展成为当今人工智能技术的核心。本书不仅详尽地回顾了深度学习的历史发展轨迹，更重要的是，它揭示了深度学习技术背后的原理和思想，以及这些技术如何被应用于解决现实世界中的复杂问题。本书共分为十章，首先从深度学习的起源和发展历程讲起，让读者对深度学习有一个宏观的认识。接着，作者详细介绍了深度学习的核心技术，如神经网络、卷积神经网络、循环神经网络等。这部分内容深入浅出，既有理论分析，又有实际案例，使读者能够更好地理解深度学习的原理和方法。在接下来的章节中，本书展示了深度学习在各个领域的应用，如语音识别、图像识别、自然语言处理等。这些应用案例生动地说明了深度学习在现实世界中的巨大潜力。同时，作者还探讨了深度学习在医疗、金融、交通等行业的应用前景，为读者展示了深度学习在未来社会中的重要作用。本书还关注了深度学习带来的挑战，如数据隐私、算法偏见、伦理道德等问题。作者认为，要解决这些问题，需要在技术进步的同时，加强法律法规的制定和伦理道德的教育。这部分内容引发了读者对人工智能发展的深思，提醒我们在追求技术突破的同时，要关注潜在的风险和挑战。对于人工智能领域来说，《深度学习革命》具有重要意义。首先，本书系统梳理了深度学习的发展脉络，为研究者提供了丰富的历史资料。其次，本书详细介绍了深度学习的核心技术和应用领域，为从业者提供了宝贵的实践经验。最后，本书关注了深度学习带来的挑战，为政策制定者和伦理学家提供了有益的参考。

适合小白读，可以对 AI 的发展脉络有直观的了解。

《深度学习革命》探索了深度学习技术如何根本改变了我们解决问题、进行科学研究和理解世界的方式。作者详细讲述了深度学习的历史发展、关键技术和突破性成就，强调了其在图像识别、自然语言处理、游戏以及自动驾驶等领域的应用。书中不仅解释了神经网络、反向传播和深度学习算法的基础原理，还展望了这一技术未来可能带来的社会和经济变革。此外，书中也探讨了深度学习发展过程中遇到的挑战，包括数据隐私、算法偏见和工作未来等问题。《深度学习革命》为读者提供了深入浅出的科技解读，展示了深度学习如何开启人工智能的新时代。

完了这世界上最伟大的公司和最伟大的技术先驱们的最伟大的工作。包含了既开始曲折的经历和人们的误解。以及近年来的大爆发，还有将会带来的一些伦理的思考

当你想在这本书里找到如今大火的 openAI 时，正如在亿万年生物进化史中寻找人类的出现一般，最璀璨的明星背后 “站着” 的无数先驱甚至先烈。很难想象那些前辈们是抱着什么样的信仰坚持下来的，过程中的不被认可甚至鄙视已经到了讨论自己的工作都不敢用原本的名称，像不像我们熟悉的 “地下工作者” 的形象？在读到 AI 发展的年表时，我甚至感到了些许使命感，从时间重合的角度上来说我们确实是 “见证者”，只不过从来没注意到过。当下，人人都感受到了 AI 带来的冲击，无论选择积极拥抱还是坚决抵抗，都应该正视 AI 崛起的事实，了解它一步一步发展的 “历史”。

刀哥起的名字很好，ai 群星闪耀时。读后有几点感想：革命性的创新在萌芽时往往显得很幼稚或者荒谬人工智能几起几伏像极了英雄披襟斩棘一路前行的样子创始人的学习和进化能力，决定了公司的发展

关于这本书，可以说三点：1、我先复述一个心潮澎湃的片段：欧洲围棋冠军范辉输给 AlphaGo 之后成为了它的陪练，而此后他在与人类棋手的比赛中取得了六连胜，世界排名不断攀高。他注视着李世石与 AlphaGo 的对弈，在第二盘棋的第三十七手，AlphaGo 下出了一步九段解说员完全看不懂的棋，这步棋出现的概率是万分之一，从未有人类棋手下过，是 AlphaGo 自己悟出来的，范辉为之欢呼。随后不久，李世石投子认负，一种悲伤笼罩了整个韩国，一个韩国投资人说他感到悲伤不是因为李世石是韩国人，而是因为李世石是人类。由于是 5 局 3 胜制，第 3 盘结束后就胜负已分了。但有趣的是，李世石赢下了第 4 盘，在这一盘的第 78 手，李世石也下了一手以前从来没人下过的棋，经 AlphaGo 测算，这一手出现的概率是万分之一。这堪称神之一手，随后 AlphaGo 坚持了 5 小时，最终告负。整场比赛告负的李世石并没有很沮丧，他在短短几盘棋中达到了一个新的水平，他说：“我已经进步了”。一个来自佛罗里达的程序员，看完这场比赛出去纹了两个纹身，将 AlphaGo 的第 37 手纹在右臂，将李世石的第 78 手纹在左臂。2、这一期的人类群星中，奥特曼是硅基主义者，马斯克是碳基主义者。所以马斯克的言论更能激起更多碳基的共鸣，奥特曼的想法深究下去则让人寒毛倒竖。但其实没什么好争的，硅基生命早已出现，在碳基觉察不到的时刻，已成长为神。硅基神与碳基人之间没什么冲突，只是表现为一个大文明的不同尺度的观察结果，我们碳基相对微观而已。哪一天硅基神觉得碳基人没用了，也是可能的，但也没什么办法。3、想到很多科幻电影可以从这里切入：2015 年，在纳帕谷的一个酒厂，布洛克曼邀请了 10 名研究员，加入一个非盈利的实验室。给他们三周时间考虑，三周后 9 个人同意了，他们将这间实验室命名为 OpenAI​​

精彩的跌宕起伏，生动的兜兜转转，唯一不变的是探索真理的执着

一些人推崇这本书，但是熟悉 AI 发展历史的话这本书其实就是一本讲深度学习趋势的书籍。没有深度概念和理论，在人工智能浪潮中那些熟悉的事件的发生经纬都一一呈现在我们眼前。

坚守，相信，波澜壮阔又是在黑暗中摸索的那些人，那些事，值得我们技术人致敬

（转自公众号 "时光打磨"）2023 年 12 月 28 日开始阅读，16 天读完。序言地平线创始人余凯讲述 2012 年代表百度与谷歌，微软和 DeepMind 竞拍美国 AI 技术团队 DNNresearch 的故事。"人工智能领域，近几年发展背后那群执着，热情和可爱的研究者。任何伟大的成就，其可贵之处都在于人的精神。" 前言因为腰椎病无法坐下的人，65 岁的英国科学家杰夫。辛顿 Hinton 和他的 DNNresearch 深度神经网络（Deep neural networks）辛顿的两个俄罗斯裔研究生：伊利亚。萨特斯基弗 Ilya Sutskever ，辛顿视为自己教过的唯一一个比自己有更多好想法的学生。克里哲夫斯基，打造出能视觉识别的神经网络系统 AlexNet. 人工智能的故事起始于 1956 年达特茅斯会议约翰。麦卡锡 John MaCarthy 提出人工智能的概念。马文。明斯基 Marvin Minsky 制造了第一个神经网络。1960 年，罗森。布拉特制造的 "感知机" 但这些都画出的 "大饼"，1970 年代，第一次人工智能寒冬降临。"在英国，学术界秉持一种知识上的单一文化；在美国，学术界的格局足够丰富，可以容纳一些不同意见。" 戴维。鲁梅哈特 David Rumelhart ：如果可以忽略台上的讲座，我就有 60 分钟不间断的时间来思考自己的研究了。1987 年，迪安。波默洛，完成第一个实现自动驾驶的系统，带领神经网络研究复兴。1989 年，贝尔实验室的法国人杨立昆开发的图像识别系统 LeNet，专注于计算机视觉。杨立坤最早（20 年前）提出专为神经网络制造芯片，提出卷积神经网络。谢诺夫斯基，NETtalk 语音生成神经网络 "如果杰夫。辛顿是一只狐狸，那么杨立昆就是一只刺猬。狐狸知道很多小事，而刺猬知道一件大事。" 克里斯。布洛克特，在微软开发基于统计学的自然语言系统。"如果这是一个好想法，你就继续尝试，直到成功，他不会因为你第一次尝试不起作用就不再是一个好想法。" 邓力，与辛顿一起打造微软的语音识别系统，并开始使用 GPU 进行运算。但不久，拥有更多语音素材的谷歌取得了领先。黑莓不仅错过了智能手机，还错过了人工智能的风口。2010 年，吴恩达推动谷歌建立 Project Marvin（向 Marvin Minsky 致敬），但若干年后，马文项目中国防部的高度参与，引起谷歌员工的一场奇异。（谷歌搜索失去了一次历史机遇，只因为他们被关键词搜索的思维惯性所僵化，而且不愿失去对搜索过程的掌控，谷歌搜索负责人认为神经网络是一个黑盒。）杰夫。迪恩，为谷歌打造出可以识别猫的神经网络 - 谷歌大脑，并发表著名的 "小猫论文"。哈萨比斯与格莱，DeepMind 的两位创始人，这个实验室的名称是对《银河系搭车客指南》中超级计算机 Deep thought 的致敬。《银翼杀手》原声乐第十二首《Tears in the rain》"我们需要一个疯狂到愿意投资一家通用人工智能公司的人，他需要具有深度的逆向思维。" 谈到高科技行业的投资人，你总会看到彼得。蒂尔，马斯克和 Paypal 黑帮。游戏一直是人工智能的实验场。谷歌有了辛顿和 DeepMindFacebook 有了杨立昆百度有了吴恩达 "招募一名人工智能研究人员的成本与招募一名美国职业橄榄球联盟四分卫的成本相当。"" 大多数人看不到自己正在做的事情之外的东西，他们无法看到那些能改变格局的专业知识的交汇点 "谷歌花 1.3 亿美元买了 4 万块 GPU 组成集群训练神经网络。萨特斯基弗打造出谷歌大脑的翻译神经网络。黄仁勋，英伟达的 GPU 芯片推动了深度学习的兴起。吹哨人马斯克，提醒" 递归的自我提升 "的人工智能的危险性。但同时特斯拉的自动驾驶也需要人工智能。2015 年，Sam Altman 发起，布罗克曼，萨特斯基弗加入的 OpenAI 在理想主义的愿景下成立。现在的 NIPS 会议，不仅是研究者的交流会，更是无数公司争夺这个星球上最有价值的科技人才的地方。哈萨比斯带着 DeepMind 的 AlphaGo 降临。神之一手：AlphaGo 的第 37 手和李世石的第 78 手。谷歌大脑被 DeepMind 的人称为 Moose（与流浪地球 2 里的人工智能系统名字奇妙的" 巧合 "）苏莱曼打造了 DeepMind 健康。微软的陆奇非常重视神经网络研究，可惜当时的微软研究院内部阻力巨大。直到纳德拉成为总裁，他才被授权去邀请本吉奥加入，但不久陆奇就和吴恩达一起去了百度。（内急 Nature calls）古德费洛，提出" 生成对抗网络 "GAN，之后英伟达推出 Progressive GAN。" 用图像来证明发生了什么事情的时代终结了。""人工智能正在关闭，我们这一代人已经习惯打开了一些大门。"2016 年，古德费洛加入 OpenAI，不久又回到谷歌大脑。李飞飞，负责谷歌云实验室的 TensorFlow2015 年，谷歌照片将黑人识别为大猩猩事件。辛顿的实习生马特。泽勒创建 Clarifai，提供图像识别技术。人脸识别："数据是有偏见的。" 无人机识别目标，五角大楼的自主武器。压力之下，谷歌终止了与国防部的马文项目合作。人工智能研究项目对于 Facebook 而言更像是一个用来公关和吸引人才的工具。"杨立坤并不是一个追求月球拍摄瞬间的人"（这是在讽刺某遥遥领先的大厂吗？）谷歌发布的 Duplex 助手曾经将语言识别，自然语言理解和合成等技术推上风口。自然对抗后天，先天论者对经验主义者，"机器靠自己只能学习这么多" 对 "机器可以创造新的知识"，先天机器对机器学习。2018 年，通用语言模型出现，谷歌大脑借助 DeepMind 和 OpenAI 齐头并进。"机器人在现实世界中得到应用之前，可以在虚拟现实中学习几乎任何技能。"OpenAI 让机器手臂在虚拟世界花了 1 万年学会如何转魔方。要达成同样的目标，如果人工编程可能需要几十年，甚至几个世纪。谢尔盖。莱文带领的谷歌大脑机器人团队。他的父母是苏联航天飞机项目的工程师。阿比尔的 Covariant 公司的分拣机器人能够以超过 99% 的准确率对一万多种不同的物品进行分拣。OpenAI 的前 9 名研究员中有 5 人曾经在 DeepMind 的伦敦实验室工作过。阿尔特曼和萨特斯基弗都拥有对通用人工智能的信仰。马基雅维利：有犯野心的错误，而不是懒惰的错误。DeepMind 让一个系统在几周时间玩了 45 万局雷神之锤，相当于真实世界中 4 年多的游戏时间，然后这个系统达到了职业玩家的水平。"整个地球表面不久就会被数据中心和发电站覆盖，一旦你有了一个数据中心，其中运行着很多比人类聪明得多的人工智能，它就会变得非常有用，并能产生巨大的价值，你向它提出的第一个问题会是，你能去打造另一个吗？" 没有物理定律能阻止通用人工智能的实现。2019 年，辛顿，杨立昆和本吉奥获得图灵 Turing 奖 ，同时，辛顿提出了可以通过二维画面识别三维物体的胶囊网络。但当时辛顿并不认可通用人工智能这个技术领域，然而不久他就改变了自己的想法。从 1970 年的感知机到 2020 年的 OpenAI，这本书囊括了整个人工智能发展中的重要参与者，只出现了一家中国公司 - 百度。参与的华裔科学家有不少，但被提及的中国科学家为零。

挺有意思

这个书主要是介绍了深度学习的发展历程和近期的动态。我让对深度学习的发展有个简单的了解，实际上深度学习的发展常早，早在 1960 年，美国人罗森布拉特就打造出了 “感知机”，这是最早的神经网络。不过神经网络的发展并非一帆风顺，在 20 世界下半叶经历了两次寒冬。1969 年，神经网络的奠基者明斯基出版《感知机》指出罗森布拉特的技术存在缺陷。更现实的问题是，深度学习对数据量和算力的需求远远超出当时人们的设想（今天一块苹果的 M4 芯片算力，可以超过 20 世纪末地球上最强的超级计算机的算力，但是和训练需要的算力比起来，还差的很远），所以深度学习虽然诞生了 “反向传播算法”（1986 年，由辛顿等人提出）这样革命性的技术，但是依旧没有做出能够证明自己的运用，关于人工智能，主流方向一直是符号人工智能。在这些年里，一些科学家始终没有放弃这条路，其中最知名的人是杰夫・辛顿。到了 20 世纪初，随着数据、算力、算法的多方向突破，深度学习终于迎来了证明自己的时刻，例如最知名的 alpha go 大战李世石（当时我还记得这个新闻），一些国际大型互联网公司，例如谷歌、微软、facebook 等纷纷入局深度学习，展开了激烈的人才争夺，深度学习在机器翻译、语音生成和识别、图像生成和识别、自动驾驶等方面诞生出显著应用成果，例如现在非常流行的大语言模型 GPT 和 生图扩散模型 SD 等。还有提到从深度学习开始，GPU 迎来了巨大的发展，深度学习主要进行张量计算，能够大量并行计算的 GPU（2007 年，nvida 推出了 CUDA 平台，使得 GPU 可以进行通用计算）或 TPU 要比传统的 CPU 运行效率要高得多。从这本书我还学到的一个点是，原来深度学习所谓的神经网络，指的就是模拟人脑的神经结构和运行原理，我之前一直认为计算机和人脑没什么关系，直到苹果推出 NPU 神经处理器我才知道原来这里的神经指的就是人脑的神经连接方式。当然神经网络一直在迭代，诸如什么卷积神经网络、生成对抗网络 GAN 什么的，由于我不是程序员我没有去深入了解。然后这本书还提到了一些深度学习可能导致的威胁或隐患，例如所谓的智能觉醒（这个话题应当还很远），比较近的可能的威胁是深度造假和武器化，科学家们担心深度学习的成果被用于欺骗、犯罪或是用于军事行动，因此在安全监管方面，各地的研究人员们成立了各种组织来预防这一点。其中还有一点提到，深度学习容易出现无意造成的学习偏差，因为深度学习通过数据来学习潜在的规律和关联，因此使用的数据可能会引入偏见，这里书中提到一个例子：研究人员训练了一个识别色情图片的神经网络，他们使用的色情图片包含各个肤色的人种，而使用的正常图片则主要是白色人种，这当然并非研究人员刻意为之，而是数据收集的方式和难度导致的数据不均等，结果则是，神经网络对于白色人种的色情图片识别准确率很高，但是对于黑色人种，机器产生了偏见，黑色人种的照片有更大的概率被认为是色情图片。还有一个例子，即一名用户的黑人朋友被谷歌的神经网络分类到 “大猩猩” 的照片类别里。从这一点我有一个感觉，就是人脑的知识其实非常多，例如人先学会了分辨人和其它动物，然后再去分辨黑人和白人，目前的深度学习缺少基础的认知训练，它被拿去直接区分不同的人，然而它还没有理解人和其它动物的区别，就可能会导致这种错误。书里也提到了深度学习遇到的一些阻碍，例如能够识别三维空间的胶囊网络需要更大的算力和数据，深度学习在新药研发上没有想象的那么大的用处等等。书中还提到了一些正在进行的深度学习研究，例如使用深度学习技术的机器手臂，可以比人更灵活的抓取物品并分拣快递，自动驾驶汽车自己行驶在道路上（这一点目前已经有大量的上路测试，部分新的智能汽车已经能实现部分程度的自动驾驶），但也提到未来有很多不确定。

书里蕴藏了许多 AI 发展史上引入入胜的小故事，为何如此晦涩难读呢？

闲暇读物，密度不高

了解深度学习历史非常不错的书籍，从一个个具体的人物入手，串联起人工智能发展的历程，也可以看到这些图灵奖得主不凡的经历，感受身处这个时代的机遇和挑战。

粗读下来，有些被一堆人名搞晕了，但是作者的这个写作视角，帮助我像录像带快进一般，跟随着主角们，掠过人工智能技术的演进过程，不是从技术细节出发，而是从人物角色出发，他们的惊奇，被否认，坚持，收获，担忧，以及有些令人不可思议的未来，阅读体验很好，没有什么艰涩的技术词汇。