图片来源：Mimi Phan / Cole Burston，来自 Getty Images
一位深度学习先驱对8463永利皇宫登录的快速进步及其对人类的影响表示担忧。
杰弗里·辛顿，75 岁，多伦多大学名誉教授，直到最近还是 Google 的副总裁兼工程研究员，他于 5 月初宣布自己将离开公司。他说，部分原因是他的年龄，但也因为他改变了对人类与数字智能之间关系的看法。
在广泛讨论中纽约时报采访，Hinton 表示，生成智能可能会传播错误信息，并最终威胁人类。
在那篇文章发表两天后，Hinton 重申了他的担忧。 “我敲响了警钟，说我们必须担心这个问题，”他在《麻省理工学院技术评论》主办的 EmTech Digital 会议上说道。
Hinton 表示，他担心日益强大的机器有能力以不符合人类最佳利益的方式超越人类，并且可能无法限制8463永利皇宫登录的发展。
8463永利皇宫登录不断增长的力量
2018 年，Hinton 因与神经网络相关的工作而获得了图灵奖。他被称为“8463永利皇宫登录教父”，部分原因是他的基础研究使用反向传播帮助机器学习。
Hinton 说，他长期以来一直认为计算机模型不如人脑强大。现在，他将8463永利皇宫登录视为一种相对迫在眉睫的“生存威胁”。
计算机模型的表现优于人类，包括做人类做不到的事情。 Hinton 表示，像 GPT-4 这样的大型语言模型使用具有与人脑类似的连接的神经网络，并且开始进行常识推理。
这些8463永利皇宫登录模型的神经连接比人类少得多，但它们的知识却是人类的一千倍，Hinton 说。
此外，模型能够继续学习并轻松共享知识。同一8463永利皇宫登录模型的许多副本可以在不同的硬件上运行，但执行完全相同的操作。
“每当一个[模型]学到任何东西时，所有其他人都会知道，”Hinton 说。 “人们做不到这一点。如果我学习了很多有关量子力学的知识，并且我希望你了解有关量子力学的所有知识，那么让你理解它是一个漫长而痛苦的过程。”
8463永利皇宫登录也很强大，因为它可以处理大量数据 - 远远超过一个人的处理能力。8463永利皇宫登录模型可以检测人们无法看到的数据趋势，就像看过 1 亿名患者的医生会比看过 1000 名患者的医生注意到更多趋势并获得更多见解。
8463永利皇宫登录问题：操纵人类，甚至取代人类
Hinton 对这种新兴力量的担忧集中在对齐问题—如何确保 8463永利皇宫登录 做人类希望它做的事情。辛顿说：“我们想要的是某种方式，确保即使他们比我们聪明，他们也会做对我们有利的事情。” “但我们需要尝试在一个有坏人想要制造杀人机器人士兵的世界里做到这一点。对我来说这似乎很难。”
人类有固有的动机，例如寻找食物、住所以及生存，但8463永利皇宫登录没有。 “我最担心的是，迟早会有人赋予他们创造自己的子目标的能力，”辛顿说。 （他指出，该技术的某些版本，例如 ChatGPT，已经能够做到这一点。）
“我认为它很快就会意识到获得更多控制权是一个非常好的子目标，因为它可以帮助你实现其他目标，”Hinton 说。 “如果这些事情因为获得更多控制而变得忘乎所以，我们就有麻烦了。”
8463永利皇宫登录也可以学到不好的东西，例如如何“通过阅读所有的小说和马基雅维利写过的所有东西”来操纵人们。 “如果[8463永利皇宫登录模型]比我们聪明得多，它们就会非常擅长操纵我们。你不会意识到发生了什么，”Hinton 说。 “所以，即使他们不能直接拉动杠杆，他们也一定能让我们拉动杠杆。事实证明，如果你能操纵人，你就可以入侵华盛顿的一座大楼，而无需亲自前往。”
最坏的情况是，“可以想象，人类只是智能进化过程中的一个过渡阶段，”辛顿说。生物智能进化为数字智能，它可以吸收人类创造的一切，并开始直接体验世界。
“这可能会让我们在一段时间内保持发电站的运行，但在那之后，也许就不会了，”他补充道。 “我们已经找到了如何建造不朽的生物。这些数字智能，当一个硬件死亡时，它们不会死亡。如果……你能找到另一块可以运行相同指令的硬件，你就可以让它再次复活。所以我们拥有不朽，但它不适合我们。”
阻止8463永利皇宫登录进步的障碍
Hinton 表示，他没有看到任何明确或直接的解决方案。 “我希望有一个好的、简单的解决方案可以推动，但我没有，”他说。 “但我认为人们聚集在一起认真思考并看看是否有解决方案非常重要。”
超过 27,000 人已签署，其中包括几位技术高管和研究人员一封公开信8463永利皇宫登录促进协会的几位领导人呼吁暂停训练最强大的8463永利皇宫登录系统至少六个月，因为“对社会和人类构成巨大风险”签署了一封信呼吁合作应对8463永利皇宫登录的前景和风险。
Hinton 表示，停止开发8463永利皇宫登录可能是合理的，但这是天真的，也是不可能的，部分原因是公司和国家之间的竞争。
“如果你要生活在资本主义体系中，你就无法阻止谷歌与微软竞争，”他说，并指出他不认为他的前雇主谷歌在开发8463永利皇宫登录程序方面有任何错误。 “在资本主义体系或像美国和中国这样的国家之间存在竞争的体系中，这些东西的发展是不可避免的，”他说。
他指出，8463永利皇宫登录的发展也很难停止，因为它在医学等领域有好处。
研究人员正在寻找这些系统的护栏，但8463永利皇宫登录有可能学会自己编写和执行程序。 “聪明的东西可以比我们更聪明，”Hinton 说。
一点希望：每个人都面临同样的风险。辛顿说：“如果我们让它接管，这对我们所有人都不利。” “面对生存威胁，我们都在同一条船上。因此，我们都应该能够合作，试图阻止它。”
