很好的关于人工智能的历史的书，把人工智能的 3 个门派梳理得很清楚，还谈论了一些哲学的问题。mark 一下有感悟的点：必然性（necessity）和可能性（possibility）是相对的。底层的必要性约束了上层的可能性。物理定律的可能性被更底层的数学定理的必然性所约束；依次，数学定理的可能性又被逻辑的命题和定义所约束。上层的思想（thought）恰是底层的世界（world），一类人的思想是另一类人的世界。理论上说，如果一层网络是一个函数的话，多层网络就是多个函数的嵌套。网络越深，表达能力越强，但伴随而来的训练复杂性也急剧加大。辛顿是深度学习的先驱，他和学生在 2006 年发表的两篇文章开辟了这个新领域，其中登在《科学》上的那篇提出了降维和逐层预训练的方法，使得深度学习的实用化成为可能。深度神经网络最后几层的每个节点都可对应于某些概念。这是神经网络的一大进步，貌似为 “吃啥补啥” 找到了科学根据，调和了与符号派的矛盾。至于符号派买不买账，就是另一回事了。吴恩达在斯坦福大学又搞了个更大的神经网络，参数高达 112 亿。人脑的神经连接有一百万万亿个。从计算能力上说，如果这个人工神经网络要能接近大脑，每个人工神经元必须达到一万个大脑神经元的功能。这个神经网络会用到大量的图形处理芯片 GPU，GPU 一度是模拟神经网络的完美硬件，因为每个 GPU 芯片内都有大量的小核心。这和神经网络的大规模并行性天然相似。硬件的进步让以往不可能的成为了可能。GPU 的厂商 Nvidia 股票也一路飙升。对计算量的需求是没有止境的，新的芯片技术也被用到深度学习中，先是有人试图用 FPGA（可编程阵列）和 ASIC 实现各种深度学习算法，后来谷歌推出了专用芯片 TPU。统计方法的另一个好处是工程师根本不需要语言学知识，也不需要懂源语言或目标语言，就可从事机器翻译。谷歌翻译团队就没什么科班出身的语言学家。欧赫认为语言学知识对翻译没什么用处，有时还会起反作用。即使人类在不理解力学的时候，就会造弹弓了。对那时的人类而言，弹弓的工作原理就是黑匣子。乔姆斯基和诺维格分别代表的两种人关心的是两种不同的问题。一种人力图打造实用的工具，没有解释也能凑合，他们是不求甚解的工程师；另一种人寻求终极的知识，他们是科学家。只不过，在计算机科学这个特定的学科中，科学家和工程师的角色变换太快，这门学科的开拓者，很多是身兼二职的，例如图灵和冯诺伊曼。遗传算法和强化学习有一个共同点：效果要等到多步以后才能看到，这是和监督式学习的主要不同。萨顿 1979 年到麻省大学跟随巴托和阿比卜，由此开创强化学习。他一直认为强化学习是理解智能的关键。维纳的控制论自问世从没进入过主流，现在更无人问津了。在整个人工智能的各个分支里，大概只有强化学习还留有点儿控制论的影子。一旦一个算法被天才发明，并成功地在一个领域里得到应用，自然会有二流人才前赴后继把这个算法在其他领域发扬光大。20 世纪 80 年代的神经网络如此，当下的强化学习也如此。谷歌 2017 年用强化学习来寻求 NP-hard 问题的近似解（Mirhoseini et al.，2017）。还有人把强化学习和符号方法结合做因果推理（Garnelo，2016）。当然 arxiv 上面的文章从发表到证实，还需要段时间。早年有人质疑遗传算法算不算机器学习，他们认为遗传算法是一种近似优化算法，不能算机器学习。但从某种意义上，任何机器学习算法都是一种优化算法。现在强化学习都被用来求解优化问题了。哈佛大学的理论计算机科学家、图灵奖获得者瓦连特（Leslie Valiant）曾经从计算的角度研究过机器学习和进化，他把进化当作学习的特例。利夫纳特和帕帕季米特里乌认为有性繁殖不太容易达到最优点，而无性繁殖才更像是优化算法，他们把遗传算法比作有性繁殖，模拟退火算法比作无性繁殖。如果说遗传算法是微观地向生物内部机制学习的话，强化学习则是更为宏观地向自然学习。德雷弗斯从以下 4 个层面批评人工智能。不同层面 人工智能假设 德雷弗斯的反驳生物层面 麦卡洛克 - 皮茨的神经元是二元的，像布尔电路 人脑是模拟的心理学层面 纽厄尔 - 司马贺的信息处理和规则 常识和背景无法用规则表示认识论层面 麦卡锡：所有知识都可以形式化 人的知识不是形式化的。可以用微分方程描述星体运动，不意味着星体在求解微分方程本体论层面 世界由事实构成，方法论是还原论 人是人，物是物。物理的东西是还原论。人需要现象学维特根斯坦曾经有言：哲学家的工作应该是一直给人提醒（assembling reminders），而不是指导。在文明初期，哲学家掌握所有的学问，哲学就是学问的代名词，说哲学家指点科学倒也不算错。但科学进步的过程就是与哲学渐行渐远的过程，当下的科学已经和哲学关系不大，“一战” 后的欧陆哲学已经和科学彻底无缘。偏重科学和逻辑的英美分析哲学也挡不住哲学的颓势，最后一个从哲学中脱离的硬学问是逻辑，目前最好的逻辑学家都在数学系和计算机系，哲学已经空洞化。那些非逻辑学出身的哲学家存在的一个普遍问题是压根就没见过硬的、复杂的问题。对于一个不太出名的哲学家的谬论，最好的应对办法是把他交给数学比他稍微好一点的同行。但如果碰到出名的哲学家，我们只好直接迎战，否则他的谬见会影响智力还不如他的媒体人，从而被散布得更远。我们造飞机并不需要知道鸟是怎么飞的。我们享受飞机的远程旅行，也不需要懂空气动力学。我这里并非在为功能主义辩护。其实，学科体系历来如此，底层的学科说上层学科不够分析，物理学家对化学家如是说，化学家对生物学家如是说，生物学家对心理学家如是说。而哲学和人工智能恰恰可以和哪个学科都能挂上，分析和综合就看不清了。开尔文勋爵曾说：“数学是唯一的好形而上学。” 如果考虑到特定的语境，我们可以把 “形而上学” 理解为哲学，不懂数学和逻辑的哲学家，在科学家和工程师眼里什么都不是。自然语言处理虽没有像图像和语音那样进展神速，但相比于定理证明近年来的停滞徘徊，毕竟还有阶段性的成果。

靠谱