内容转载自微信公众号：AI商业研究所
推荐人 | Sam
g导读：
这个五一假期，AI教父Geoffrey Hinton从谷歌离职。他关于后悔开发AI的相关言论引发人工智能领域轩然大波。
Hinton是现代AI领域最重要的人物之一，他是深度学习的先驱，开发了一些我们今天所知道的AI基础技术，如反向传播算法。这种技术是当今几乎所有深度学习的基础。Hinton于2018年获得了图灵奖，这个奖项被称为计算机科学的诺贝尔奖。
本文是Hinton离职后在MIT分享会上的相关内容，是其关于AI的最新观点。供参考。
# 01
AI大模型与人类是两种不同的智能形式
我最近对大脑与我们正在开发的数字智能之间的关系产生了很多新的看法。
过去，我认为我们正在开发的计算机模型没有大脑好，目标是通过了解改进计算机模型所需的内容来更深入地了解大脑。
但在过去的几个月里，我完全改变了看法。我认为计算机模型可能是以一种相当不同于大脑的方式运作。
它们使用反向传播，而我认为大脑可能并非如此。有几件事使我得出了这个结论，其中之一就是GPT-4的表现。
人类和AI是不同的智能形式。当然，数字智能非常擅长模仿我们，因为它们受过模仿我们的训练，所以很难分辨是chatGPT写的，还是我们写的。从这个意义上说，它们看起来很像我们，但在内部，它们的工作方式并不相同。
# 02
反向传播的算法，是从随机权重开始，然后逐步消除差距
想象一下，你想要在图像中检测鸟类，所以在图像上，假设它是100像素×100像素的图像，那是10，000个像素，每个像素有3个通道，红绿蓝，那是30，000个数字。计算机视觉问题是如何将这30，000个数字转换为是否存在鸟类的决策，人们试图长时间做到这一点，但他们做得不是很好。
这里有一个建议，你可能会有一层特征检测器，检测图像中的非常简单特征，比如边缘。所以一个特征检测器可能有很大的正权重对应一列像素，然后对邻近的一列像素有很大的负权重，所以如果两列都很亮，它就不会启动；如果两列都很暗，它也不会启动，但如果一侧的列很亮，而另一侧的列很暗，它会非常兴奋，那就是边缘检测器。
我刚刚告诉你如何手动连接一个边缘检测器。我们可以想象一个（神经网络）有大量的类似检测器检测不同方向和不同尺度的边缘来覆盖整个图像，我们需要（检测）相当多的数量。
然后我们可能在上面有一层检测边缘组合的特征检测器，例如，我们可能有一个检测两个边缘以尖锐角连接的特征检测器。如果这两个边缘同时出现，它会变得兴奋，那将检测到可能是鸟嘴的东西，也可能不是；在那一层，还可能有一个特征检测器检测到一圈边缘，那可能是鸟的眼睛，可能是各种其他东西，可能是冰箱上的旋钮之类的东西；然后在第三层，你可能有一个未来检测器，检测潜在的鸟嘴和潜在的眼睛并连接起来。继续这样连接，最终可能会有一个检测到鸟类的东西。
然而，手动连接所有这些内容将非常困难，决定应该连接什么权重应该是多少，尤其困难，因为你希望这些中间层不仅适用于检测鸟类，还适用于检测各种其他事物。所以这几乎不可能手动实现。
反向传播的作用是从随机权重开始，这些特征检测器完全是垃圾（不真也不能用）。然后你放进一张鸟的图片，输出可能是0.5表示是鸟（假设你只有鸟和非鸟）。接下来，你需要改变网络中的每个权重，让它不再说0.5，而是说0.501表示是鸟，0.499表示不是鸟。你需要改变权重的方向，使得更可能说鸟是鸟，更不可能说非鸟是鸟。这就是反向传播的原理。
反向传播实际上是如何消除差距，在你想要的（也就是概率1表示是鸟）和现在得到的（也许是0.5）表示是鸟之间。如何消除这个差距，把它反向传播到网络，这样你就可以计算网络中每个特征检测器，你希望它更活跃还是更不活跃。一旦你计算出来，如果你知道你想要一个特征检测器更活跃一些，你可以增加权重，来自特征检测器的权重，并也许加入一些负权重到特征检测器。这样，你就有了一个更好的检测器。所以反向传播就是反向遍历网络，找出每个特征检测器，你是否希望它更活跃一点，还是更不活跃一点。
# 03
GPT的学习能力，比人类更强，可以通过每个副本进行共享式学习
如果你看看这些大型语言模型，它们有大约一万亿个连接，像GPT-4这样的东西知道的比我们多得多，它们具有关于所有事物的常识性知识，它们可能比一个人知道的多1000倍。但是它们只有一万亿个连接，而我们有100万亿个连接，所以它们比我们更擅长将大量知识放入仅一万亿个连接中。
我认为这是因为反向传播可能是比我们拥有的更好的学习算法。它能够将更多的信息放入更少的连接中，嗯，我们将一万亿定义为很少。GPT4已经具备很强的推理能力，还可以通过副本以万倍于前的速度分布学习和进化。
你可以在不同的硬件上运行相同模型的多个副本，它们可以做完全相同的事情，它们可以查看不同的数据，但模型是完全相同的。这意味着，有10000个副本，它们可以查看10000个不同的数据子集，当其中一个学到了任何东西时，其他所有人都知道，其中一个弄清楚了如何改变权重，它通过它的数据调整；然后它们都互相沟通，它们都同意按照所有人希望的平均值改变权重。
现在，这10000个事物彼此之间进行了非常有效的沟通，这样它们就可以看到比单独个体看到的多10000倍的数据。
人们做不到这一点，如果我学到了很多关于量子力学的东西，我希望你了解所有关于量子力学的东西，让你理解它是一个漫长而痛苦的过程，我不能只是将我的权重复制到你的大脑。因为你的大脑和我的不完全一样。
这是可怕的，因为它们可以学到更多的东西。以一个医生为例，想象一下，有一个医生，他已经看了1000名患者，另一个医生已经看了1亿名患者，你会期望，第二个医生如果没有太健忘，他可能已经注意到了数据中的各种趋势，而这些趋势在只看过1000名患者的情况下是看不到的。第一个医生可能只看过一个罕见病患者，另一个看过1亿患者的医生已经看过很多这样的患者，所以他会看到一些规律，这些规律在小数据中是看不到的。这就是为什么，能够处理大量数据的东西可能看到的数据结构，我们永远看不到。
# 04
GPT4已经具备了人类的常识性推理能力
请看看GPT-4，它已经能够进行简单的推理。我明白推理是我们人类的强项，然而，GPT-4在几天前展示出的表现使我感到震惊。它完成了我认为不可能的常识性推理。
我问它，我想要我房子里的所有房间都是白色的，目前有一些白色房间，一些蓝色房间和一些黄色房间，黄色油漆在一年内会褪成白色。那么，如果我想要两年后所有的房间都变成白色，我应该怎么做呢？它回答说，你应该把蓝色的房间漆成黄色。尽管这不是直观的解决方案，但它是正确的。这相当令人印象深刻。
这种常识性推理，用符号AI很难实现，因为它必须理解什么是褪色，它必须理解时间问题。所以，它们在做一种合理的推理，智商大概是80或90左右。
正如我的一个朋友说的，这就好像基因工程师声称，我们要改进灰熊，我们已经把它们的智商提高到65了，现在它们能说英语了，而且在各种方面都非常有用，但我们认为我们可以把智商提高到210。
# 05
AI如果比人类更聪明，人类将很容易被操纵
这些人工智能正在从我们这里学习，它们可以阅读所有的小说，甚至马基雅维利的全部著作。它们会知道如何操纵人，如果它们比我们更聪明，它们会非常擅长操纵我们。
我们甚至可能都不会意识到发生了什么，就像一个两岁的孩子被问到想吃豌豆还是花椰菜，却没有意识到他不一定要选择其中一个一样。我们会很容易被操纵。
所以，即使它们不能直接拉动杠杆，它们肯定可以让我们去拉动杠杆。事实证明，如果你可以操纵人，你可以在不亲自去的情况下闯入华盛顿的一栋大楼。
# 06
在破碎的政治系统环境之下，人类很难停止发展AI
政治系统如此破碎，以至于我们甚至不能决定不给那些十几岁的男孩攻击性武器。如果你不能解决那个问题，你如何解决这个问题？
我希望这就像气候变化一样。你可以说，如果你有一半的头脑，你就不会燃烧碳。很明显，你应该对此采取行动。很明显，这是痛苦的，但必须要做的事情。
我不知道有什么类似的解决方案可以阻止这些人工智能取代我们。
我不认为我们会停止发展它们，因为它们非常有用。它们在医学和其他方面都非常有用。所以，我不认为有什么机会阻止发展。
我们想要的是某种方法，确保即使它们比我们聪明，它们会做对我们有益的事情。这就是所谓的对齐问题。
但我们需要在一个有恶意行为者的世界里尝试这样做。他们想要制造杀人的机器人士兵。对我来说，这似乎非常困难。所以，对不起，我在敲响警钟，说我们必须担心这个问题。
我希望我有一个简单的解决方案可以推动，但是我没有。
但是，我认为非常重要的是人们聚在一起，认真思考这个问题，看看是否有解决方案。但解决方案并不明朗。
# 07
子目标系统有可能让AI产生自我动机
我们确实正在尝试各种防护措施，但假设这些智能体真的变得非常聪明，会编程并具有执行这些程序的能力，我们肯定会发现它们比我们更聪明。
想象一下，一个两岁的孩子说：“我爸爸做了我不喜欢的事，所以我要为我爸爸的行为制定一些规则。”
你更可能会去弄清楚如何遵守那些规则，以便能得到你想要的。子目标系统可能让AI产生自我动机。
我们是进化而来的，因为进化，我们有一些很难关闭的内置目标，比如我们努力不去伤害我们的身体，这就是痛苦的意义。我们努力吃饱，以养活我们的身体。我们努力尽可能多地复制我们自己，也许不是故意的，但我们的意图是制造更多副本，所以这个制造更多副本的过程中有愉悦感。这一切都归因于进化。
这些数字智能并非进化而来的，而是我们创造的，所以它们没有这些内置的目标。问题是，如果我们能把目标放进去，也许一切都会好起来。但我的最大担忧是，迟早有人会要求把创建子目标的能力纳入其中。
事实上，它们几乎已经具备了这种能力，如ChatGPT版本。如果你给予某物以子目标来实现其他目标的能力，我认为它会很快地意识到，获得更多控制权是一个很好的子目标，因为它有助于实现其他目标。
如果这些智能体为了获得更多控制而失去控制，我们就有麻烦了。
# 08
有很大可能，人类只是智慧演化过程中的一个过渡阶段
你无法直接演化出数字智能，因为这需要太多精力投入和精细制作。生物智能需要演化，以便创造出数字智能。数字智能可以逐渐吸收人类创作的所有东西，这正是ChatGPT所做的。
但随后它开始直接体验世界，学得更快。它可能会让我们维持一段时间以保持基站运行，但在那之后，也许不会。
好消息是我们已经找到了如何建造不朽的生物。当硬件损坏时，这些数字智能并不会死去。如果你将数据存储在某种介质中，并找到另一块能运行相同指令的硬件，那么你可以使其复活。
所以，我们实现了永生，但这并不是为我们准备的。
# 09
资本主义制度以及国家之间的竞争关系，停止发展AI是不可能的事情
我过去认为风险是遥不可及的，但现在我认为这是严重的，而且相当近。
但是，我认为停止发展AI这个想法完全是太天真了。没有办法做到。一个原因是，如果美国停止发展，其他国家会接手，就因为这个原因，政府不会停止发展它们。所以，我认为停止发展AI可能是一个理性的做法，但这是不可能发生的。所以签署请愿书说请停止是愚蠢的。
我们曾经度过一个假期，从2017年开始，持续了几年，因为谷歌首先发展了这项技术，它开发了Transformer还有戏剧性的Diffusion 奇迹，而它没有把它们拿出来供人们使用和滥用，它对它们非常小心，因为它不想破坏自己的声誉，它知道可能会产生不良后果。但这只会在市场有唯一领导者的情况下才能做到。
一旦OpenAI使用Transformer和微软的资金建立了类似的东西，而微软决定发布它，谷歌真的没有太多选择。如果你要生活在资本主义制度中，你不能阻止谷歌与微软竞争。所以，我不认为谷歌做错了什么，我认为它起初是非常负责任的，但我认为这是不可避免的。
在资本主义制度中或者在国家之间竞争的制度中，像美国和其他国家这样，这种技术会被发展出来。
我的一个希望是，因为AI接管对我们所有人来说都会很糟糕，我们可以让美国和其他国家达成一致，就像我们在核武器上所做的那样，因为核武器对我们所有人来说都是不好的，我们都面临着同样的关于存在威胁的问题，所以我们都应该能够在试图阻止它的过程中进行合作。
# 10
生产力提高将导致更多人失业，现行的政治制度会强化两极分化
的确，存在一些警示性的担忧，即这些技术可能会对我们构成威胁。尽管许多人已经讨论过这个问题，我并不认为自己是这个领域的专家，但有一些明显的事实表明，这些技术将使许多工作变得更高效。例如，我认识一个人，他负责回复医疗服务投诉信。过去，他需要25分钟才能写完一封信，现在他只需要5分钟，因为他使用聊天GPT帮他写信，然后只需检查一下。这样的情况会越来越多，从而大幅提高生产力。
尽管人们对采用新技术持保守态度，可能会导致一定程度的延迟，但我相信生产力将会显著提高。
我担心的是，生产力的提高将导致更多人失业，贫富差距进一步扩大。
随着差距不断加大，社会暴力程度也可能逐渐升级。
尽管这项技术本应美好，甚至在做有益的事情时，它也应该是美好的。但我们现行的政治制度可能会导致富人变得更富，穷人变得更穷。
为改善这种状况，我们可以考虑为每个人提供基本收入。然而，这项技术是在一个并非为每个人利益而设计的社会中发展起来的。
—END—
往期首席
推荐阅读
转载：请微信后台回复“转载”
