随着人工智能公司越来越接近“递归自我完善”，这位物理学教授称完全自主是“人类历史上最糟糕的想法”

人工智能模型自主学习以提高效率和能力的前景曾经对技术研究人员来说是一个遥远的抱负，但现在看来越来越接近现实。开发人员表示，随着技术的进步，它正在接近“递归自我改进”（RSI），即人工智能模型找到改进自我并建立继任者的方法。科技公司高管表示，它可能带来科学和医学进步的希望，但也存在风险。这一切可能导致什么结果的不确定性是人们日益担心人工智能逃避人类控制以及可能对人类构成威胁的核心，这导致几位人工智能巨头上周末加入呼吁减缓该技术发展的步伐。

Anthropic 本周详细介绍了其模型 Claude 如何帮助该公司开发下一个更智能的版本。

Claude 目前领导着 Anthropic 26% 的模型研发工作，该公司表示，这意味着它可以“在高级提示下端到端”完成大部分给定任务，同时仍处于人类监督之下。这些模型还不能完全自主地工作——至少现在还不是。以下是关于递归自我完善的一些要点。什么是递归自我完善？领先的人工智能公司对递归自我完善有不同的定义。有些人将其定义为人工智能对模型改进有任何反馈，而其他人则将其定义为人工智能完全自主地朝着该目标努力。非营利性生命未来研究所的总裁兼首席执行官、加州大学圣克鲁斯分校的物理学教授安东尼·阿吉雷（Anthony Aguirre）表示，自主递归自我改进本质上意味着人工智能可以改进自身设计系统的下一个版本，然后是下一个版本，等等。他说：“真正重要的是，随着人工智能做得越来越多，它会变得越来越快，因为人工智能的运行速度比人类快得多。”康奈尔大学计算机科学助理教授 John Thickstun 表示，人们对 RSI 的恐惧很大程度上是基于这一过程中出现的失控的超级智能。他研究控制人工智能模型行为的方法。但他表示，更扎实的观点表明，人工智能开发中已经存在一种递归的自我改进了一段时间。