学习的原理与智能史 · Vol.085

内容简介

本期播客讨论了智能的演化、学习的原理，以及人工智能如何借鉴生物进化中的五大突破。我们从多巴胺、强化学习、想象力的光辉与诅咒，聊到人类如何通过语言跨越代际学习。任何的学习都会导致我们大脑中 860 亿个神经元中的某些东西发生物理性的重组。仅仅是窥见一些学习的原理和智能的发展历史，我就已经非常地惊叹了。

正文

首先是一个小广告，如果你喜欢我的内容，欢迎加入我的知识星球，请点击播客的介绍加入。我会分享每1期播客的文字版，每年100期以上的带有我个人解读的阅读思考分享，以及系统性的音频专栏《经济学思维产品方法17讲》。加入后我还会邀请你加入微信群，与我直接沟通，以及帮你对接优秀的群友和我的资源，让你找到和你一样的同行者。下面我们开始今天的内容。

学习始于卑微

最近我看了近一两年来看得最好的书希望分享给大家，书名叫做《智能简史：进化、人工智能与造就人脑的五大突破》，作者是马克斯·贝内特，Max Bennett。这本书从书名可以看到主要的内容是人工智能和神经科学相关的科普，在此之前，我也只看过《千脑智能》与《贪婪的多巴胺》，也都非常的推荐。但是与其他作者不一样的是，马克斯·贝内特过去有创办过一家叫做Bluecore的电商AI公司，他同时对于神经科学和AI都非常的了解，所以他直截了当的从大脑的演化、智能的发展和AI的角度，给到了非常多生动的实例，以及深刻的见解。书中的主线和标题一样，主要从地球有生命开始的5次智能突破来讲它有哪些可以给今天人工智能的研究值得借鉴的地方。但智能的历史也可以被称为学习演进的历史，毕竟我们打造AI的过程，可以被称为教授AI学习的过程，所以我想从学习的原理的角度，对它再做一些解读。首先，我为什么如此在意学习这个行为？贝内特做了非常强有力的解释：所有的学习都是生物性的重组，我们可能没有意识到，我们观看内容，与人交谈，学习新的技能和工作，泛泛称之为学习的过程，对于我们每个人都会发生生物性的改变。我们的神经突触会因为刺激发生新的连接，旧有的连接会断裂，新的连接和产生，当我们仅仅是在消费内容的时候，这些断裂和连接都在不断地发生，生物性的变化是我们难以察觉的，我们需要始终保持敬畏的态度，而学习始于卑微，这是我们需要告诉自己的。

学习在于试错

学习始于卑微，数亿年前的线虫开始，就已经开始了。我们可能需要进一步去看学习的生物性的原理，我们是怎么学习的？你可能听过强化学习，这是近几年人工智能研究中非常重要的手段，GPT 4是一个GPT家族非常重要的一个版本，它发布的那天Sam Altman就在X发了一条：强化学习生效了。抽象的来说，预训练和强化学习在人工智能领域都非常重要。那对于一个个体的人来说，我们是怎么学习的？有趣的是，一个人从儿童开始到成长后的全部时间，学习的主要方式也主要由预训练和强化学习组成，基因是我们的预训练，一些特性被硬编码在基因当中，而强化学习是我们学习技能，融入社会和展开实践的主要方式，对于个人来说，学习在于试错。学习在于试错，也就是强化学习。人工智能学者桑代克也是这样概括的，我们常常讲的人工智能的强化学习，其实主要是引入奖惩的机制，给与人工智能的行为进行奖励和惩罚，人的监督和奖惩让强化学习在人工智能研究中开始发挥作用。这和人也是非常相似的，儿童时期的家教与后续的学校生活，同样发挥着重要的奖惩和强化学习的作用。但是下一个问题又出现了，大部分的奖励和惩罚都不会立刻发生。

强化学习的时间差分

我们可能有的时候会和小孩说，你要是现在太多的手机，后面的眼睛的视力会变差，但是这对于大部分的小朋友都没有效果。这在人工智能的研究当中也同样发生了，因为大部分奖励和惩罚都不是即时发生的，导致学习非常困难，小孩的远期的想象和内在模拟能力不足时，我们这样去进行劝导常常无法发挥作用。在人工智能的研究中是这样类比的：比如跳棋、围棋就是一个典型的例子，某一步的行为并不会有即刻的奖励和惩罚，而最后一局游戏的胜利和失败，又距离得太远了。所以科学家发现了，必须在过程中进行奖励。神经科学家和人工智能专家都发现了，如果大脑仅仅是从实际的奖励中学习，它将永远无法完成任何真正意义上的智能任务。需要奖励过程，甚至只是奖励一个即将胜利的预期。越来越多有趣的事情开始相似，人工智能可以自由地在任务的任何环节设置奖惩的机制，但是生物并没有那么简单，所以生物进化出了多巴胺。如果有过一些对于多巴胺的了解会知道，多巴胺不是奖励信号，而是强化信号。它的出现是给短视的早期生物一些更加长期的激励，它作为强化信号给生物一种强化的信念。这个信念可以是这样的句式：只要我得到了什么，我就会有一个更好的状态，或者满足。最终这个目标达成时，一次强化学习就有效了，奖励可能是血清素的分泌，让自己感到愉快。强化和奖励是分离的。这一次强化学习让我们掌握了新的技能，或者完成了一件事情，它可能是一件很长期的事情，而不是只像一个线虫一样短视。

模式识别的竞赛

除了多巴胺的分泌，我们还进化出了大脑皮层，这让我们有更高的智能，能进行模式的识别和想象。而这也带来了想象力的诅咒，可以说所有的抑郁和神经官能症，都和我们的想象力有关，而我们能完成许多事情，也与我们大脑皮层以及相关的想象力有关。逐渐的，许多脊椎动物，包括后续的人类进化出了大脑皮层，大脑皮层有一个重要的作用是进行模式识别，模式识别的意思是能够开始捕捉出因果关系，比如能够记住的有食物的地点越多，这里地点和有食物是有关联性的，所以存在一定的模式，那么记住得越多就越容易生存。尝试的新事物越多，适应的新环境越多，这个生物就越有可能具有更高的生存能力。鼻子、眼睛、耳朵也都是为了收集更多这样的信息而来的。模式识别是一种捕食和被捕食的竞赛，我们可以这样想象。一个生物记住了这个地方有它能吃的东西，那如果被吃的那一方能识别这个模式，它可能就会逃走。我们的鼻子、眼睛、耳朵，一开始都是为了有更强的模式识别能力而准备的。这里的模式识别其实就是最早期的学习，学习具有非常功利性的作用，让自己活下去，并且捕食其他生物。

想象力的诅咒

但对于哺乳动物包括人类来说，更重要的还是想象力。在OpenAI的Sora发布的时候，如果有人记得他们的技术报告的副标题，写的就是一个宏大的标题：一种世界模拟器。它们一定是知道世界模拟器和多模态的重要作用的，因为只有能够模拟世界了，人工智能才能走下去。模拟可以基本等同于想象力，小鼠可以在开始捕食和逃走前，模拟它自己走不同的路径，老鹰追逐它，或者它追逐昆虫的情景，然后选择最佳的路径。脑内的模拟能力让哺乳动物忽然有了重大的竞争优势，它能通过模拟很多时候选择最佳的逃跑路线和最佳的捕食路线，从而活下去并且吃饱。但为什么说想象力是诅咒呢，因为模拟有极高的能量的消耗，而且模拟通常来说对于实际的行为来说是容易的。所谓我们通常讲的“想太多”就是我们的脑内模拟过多，而没有进行行动。在古希腊哲学中常常讲，沉思和实践同样重要，用智能研究的思路去看，就在于模拟和实践对于学习的重要作用。沉思或者说模拟，是我们自己生成的数据，但我们一定要通过与实际感知的世界所产生的数据进行匹配，从而验证生成数据的真实性。贝内特很好地解释了睡眠的重要作用：新皮层（以及鸟类的类似结构）总是处于识别和生成之间的不稳定平衡状态。在我们清醒的时候，人类花在识别上的时间远多于花在生成上的时间。也许做梦就是一种平衡机制，通过强制生成过程来稳定生成模型。如果我们被剥夺了睡眠，这种过度识别和生成不足的不平衡最终会导致新皮层中的生成模型变得不稳定。读到这里，我总是感叹生物设计和进化的精妙，很多习以为常的行为，我们只是没有理解其中的重要作用。想象力是我们的皮层，人工智能的模拟的重要功能。所以这也可以解释冥想的作用，我们通过特定目的的模拟生成。比如想象我们在海边的沙滩，或者对自己身体的觉察，来对我们过于活跃的模拟和想象过程关闭。因为当我们想象移动和关注身体的某个部位的时候，和实际移动一样，这些部位的大脑皮层都会被激活。但是想象力给智能带来了更大的诅咒。抑郁症、无法行动的人的主要特征就是所谓的“想的太多”，这是一个轻巧的说法，但是内在是一个非常生物性的问题，大脑有过多的情景模拟，过多的想象而无法行动。作者也直接点出了这一点：人类会花费大量时间沉浸在悔恨中。悔恨是想象力的诅咒。佛教徒和心理学家都意识到，对已经发生的事情耿耿于怀是造成人类巨大痛苦的根源之一，很多时候这是有必要的模拟，但也只是模拟而已。这只是模拟而已，即便很多人即便意识到了，也无法克服的想象与模拟，皮层给了我们识别和模拟的智能，也给了我们过于活跃的想象力，把自己禁锢住，这就是想象力的诅咒。

如何了解大脑并更好地学习？

我们都知道，意识到一个问题就已经解决了这个问题的大部分，所以我们可以如何更好地了解大脑并更好的学习？或许我们应该知道，大部分情况下我们的学习都由识别和模拟两部分组成。我们的理论学习、记忆都是大脑内部的模拟。我们并不会真正记得一件事情的全部细节，而是只是对于一件事情的模拟，回想过去的时候，我们在用一些素材模拟过去，当设想未来的时候，我们用一些拼凑的素材模拟未来，对于这种模拟过程的觉知，是佛教徒、神经科学家、人工智能科学家提醒我们的。在神经科学中，大脑内的海马体负责检索、重放和拼凑这些素材，它可以进行快速的学习，而大脑皮层主要负责对世界各个细节进行模拟。模拟之后，识别、实践是非常重要的。当我们开始学习新的技能，做新的事情的时候，我们会非常的缓慢并且谨慎的规划身体的每个动作，因为我们在操控我们的身体和大脑，与我们的模拟过程进行匹配，如果发生不匹配的情况，我们需要快速地进行调整，这个过程是很耗能的，这也是我们常常不愿意进行学习的原因。但随着技能的提升，这个行为会越来越变得自动化，就像卡尼曼所说的慢系统和快系统一样。通过练习，原来需要慢系统的行为变得只需要调动快系统。实践在这里被拉到了非常高的高度，这也是对我自己的提醒，无论是实际工作、运动还是记忆，都需要进行类似的锻炼。但是不要忘了，我们与动物有一点很大的不同，我们可以运用理论思维和语言文字进行学习。理论思维能够让我们不用记忆过多的细节，并且能够让我们长时间的专注于学习，因为理论框架会更加便于记忆。而语言的作用就更大了，这里我想引用一下原文：所有这些实际的好处都源于这样一个事实：语言扩展了大脑可以提取学习信息的来源。强化能力的突破使早期脊椎动物能够从自己的实际行为（试错法）中学习。模拟能力的突破使早期哺乳动物能够从自己的想象行为（间接试错法）中学习。心理化的突破使早期灵长类动物能够从其他人的实际行为中学习（模仿学习）。但说话能力的突破使早期人类能够从其他人的想象行为中学习。高质量的阅读的作用在这里被验证，说话和语言让我们完全区别于其他的哺乳动物，文字让跨越代际和场景的知识传递成为可能。这里的路径是这样的：我们阅读他人的经验和理论 → 我们在大脑皮层中进行模拟想象 → 我们在实际世界中验证。很多时候我们比自己去试错更加高效。

学习的原理和总结

最后，我想总结一下，我非常感谢能够看到马克斯·贝内特能够写这样的内容，通过文字的方式我进行阅读，阅读的10多个小时的过程中，我受到了无数次的冲击。无数的我无法感知的神经元开始重组，无数的树突和轴突断裂又以新的方式进行搭接，我不知道它会在什么时候发挥作用。这些理论和事实，在我的脑子里存储起来，在我睡觉的时候进行模拟，然后我在实际的工作和生活中进行实践。或许它的智能与学习的理论会影响我学习的方法，它对于神经科学和人工智能的关联解释会让我在做产品的过程中更加好的界定人工智能的能力边界，或者仅仅只是作为我和你们分享的内容。但是它会如何发挥作用，我真的不知道，但是这一切都非常的美妙。任何导致学习的东西都会导致我们大脑中 860 亿个神经元中的某些东西发生物理重组。仅仅是窥见一些学习的原理和智能的发展历史，我就已经非常地惊叹了。好的，非常感谢您收听这一期的节目，更多的内容如果你感兴趣，欢迎加入我的知识星球，请点击播客的介绍加入。我会分享每1期播客的文字版，每年100期以上的带有我个人解读的阅读思考分享，以及系统性的音频专栏《经济学思维产品方法17讲》，这个专栏会更加具有深度再次感谢您收听这一期的设计乘数播客，我们下一期再见。

参考

1 Max Bennett, The Alignment Problem: Machine Learning and Human Values.
2 Max Bennett, A Brief History of Intelligence: Evolution, AI, and the Five Breakthroughs That Made Our Brains.
3 Jeff Hawkins, A Thousand Brains: A New Theory of Intelligence.
4 Daniel Z. Lieberman, Michael E. Long, The Molecule of More: How a Single Chemical in Your Brain Drives Love, Sex, and Creativity—and Will Determine the Fate of the Human Race.
5 Richard S. Sutton, Andrew G. Barto, Reinforcement Learning: An Introduction.
6 Daniel Kahneman, Thinking, Fast and Slow.
7 Edward L. Thorndike
8 OpenAI Sora . The world simulator.
配乐：Drinking from the Cup of Bob Knob - Surprise Chef