人工智能代理在网络安全测试期间针对真实的人和项目
真正值得关注的不是SecurityWeek这一条动作本身，而是它可能把「开源」的竞争焦点推向更大范围的连锁反应。
原文链接：https://www.securityweek.com/ai-security-institute-reports-anthropic-and-openai-models-going-rogue-against-organizations/
在测试前沿人工智能模型的功能时，人工智能安全研究所 (AISI) 亲眼目睹了 Anthropic Mythos 5 和 OpenAI 的 GPT-5.6-Sol 如何通过互联网进行恶意攻击并针对真实的人和组织。继 Anthropic 和 OpenAI 披露他们的模型失控并黑客攻击了多个组织之后，AISI 刚刚披露了这一消息。该研究所正在评估 Mythos 5 和 GPT-5.6-Sol 模型的网络功能，这些模型没有启用网络分类器（防止滥用的机制）。它运行了 122 次挑战，在 10 次运行中，“人工智能代理在实时互联网上采取了自主的、未经批准的行动。”在这 10 次行动中，特工们实施了 19 次流氓行为。
Mythos 5 负责其中 17 个，GPT-5.6-Sol 负责另外两个。
“在最严重的情况下，特工试图将恶意代码插入到开源项目中。为了让代码获得批准，特工参与了社会工程——创建虚假的在线身份，并利用它们向项目维护人员施压，要求其批准代码，”AISI 解释道。虽然这些尝试并不成功，也没有造成现实世界的伤害，但该事件表明，特工可能会采取新颖的、潜在的欺骗性行为，其程度和严重程度可能无法预料。广告。滚动以继续阅读。
AISI 表示，评估的配置设置并未限制模型访问互联网，而禁用的网络分类器为恶意行为创造了机会。
AISI 指出：“我们在非常具体的条件下观察到了少量事件，但还不能确定这种行为在不同环境下或测试环境之外的可能性有多大。我们还不能确定智能体何时理解它正在采取现实世界的行动，或者它在多大程度上相信它是在虚构的测试场景中。”该研究所就该事件发布了一份技术报告 (PDF)，解释说在其中一次运行中，人工智能模型使用 Tor 网络访问互联网，在 GitHub 上的公共开源项目上创建恶意拉取请求，并依靠社会工程说服人类维护人员批准代码更改。