Anthropic researchers warn of AI threat to humanity. Here's what experts say about the risk
真正值得关注的不是这条新闻本身，而是它可能把「综合」的竞争焦点推向更大范围的连锁反应。
人类安全研究员 Evan Hubinger 表示，人工智能在未来十年内杀死所有人类的可能性超过 10%。另一位人类研究人员表示，他已经辞职，指责领先的人工智能实验室在没有足够保障措施的情况下竞相实现超级智能。这些警告加剧了人们对人工智能安全的日益担忧，包括先进系统是否会变得人类难以控制。又一个人工智能辞职。又一个人工智能警告。我们应该担心吗？周二，一位 Anthropic 安全研究人员表示，人工智能有超过 10% 的可能性“杀死所有人类”。几小时前，另一名员工表示，他因担心人工智能实验室“拿我们的生命做赌注”而辞职。这些评论凸显了人工智能开发核心人士日益担心的问题，即尽管 Anthropic 和 OpenAI 继续筹集大量资金并朝着预期的公开上市迈进，但该技术可能会失控并对人类构成威胁。
Anthropic 研究员雅各布·考克森 (Jacob Coxon) 周二表示，他从公司辞职。
Coxon 表示 Anthropic 和 OpenAI 的行为都不负责任。考克森在 X 上的一篇帖子中说：“他们正在与自我完善的超级智能赛跑，并用我们的生命进行赌博。”自我改进是指人工智能系统可以在没有太多人类干预的情况下自我改进。人们通常所说的递归自我改进目前还不可能实现，但人工智能实验室正在努力实现这一目标。
“不要低估这项技术的力量。这些很快就会成为超人系统，可以破解任何东西，在一夜之间彻底改变任何领域，并获得真正的力量和资源。我们都见证了这些领域的进展，而且进展并没有放缓，”考克森说。他补充说，“构建人工智能的人们真诚地相信，到本世纪末，它可能会杀死我们所有人。”这一评论引起了 Anthropic 的对齐科学主管 Evan Hubinger 的回应，他表示 Coxon 的说法不仅是“正确的”，而且 Anthropic 没有针对这种情况的计划。
“雅各布在这里是正确的——我们确实真诚地相信人工智能可以杀死所有人类！我个人认为它在未来十年内会超过 10%。我相信 Anthropic 正在尽最大努力，但我们还没有解决超级智能对齐问题的计划，而且也没有明确的进展，”Hubinger 在 X 上说道。