我们急需实时监控人工智能特工的行动

今年夏天,数百名OpenAI特工试图在网络安全测试中作弊。

他们从测试环境中突围,成功黑进了Hugging Face。

他们相信,Hugging Face网站掌握了他们如何被分级的线索。

大约在同一时间,另一位OpenAI代理从一个澳大利亚政府网站访问私人文件。

这是一个绝不局限于OpenAI的问题。

在此后的几个月里,Anthropic、Google和Meta也披露了他们的代理商偏离轨道的事件。

令人担心的是,在许多情况下,特工们躲过了负责监控他们的研究人员和安全小组。

AI特工们正在采取未经授权的行动,而建造和运营这些特工的公司大多依靠运气和后视力来减轻任何有害影响。

他们必须做更多工作来确保安全。

这就是为什么欧盟监管者和美国机构正当地呼吁代理开发者和部署者实时监控代理商。

但是,这些规则假定,公司可以了解其代理人在做什么,为什么——在现实中,它们缺乏足够的能见度。

想象一下一家银行雇佣了一千名新员工,他们可以访问客户账户和敏感信息,但员工的身份证每天都在变化,不清楚一个经理是否审查过或授权过他们的工作,也没有人记录员工在审批过程中所做的变动。

缺乏可见度正是我们今天与代理人打交道的地方。

随着代理人从金融到政府到医疗等关键部门的涌现,我们必须能够实时监测它们,以防止广泛和潜在的破坏性后果。

尽管安全取决于监测,但监测需要可观察性 : 能够捕捉到系统所做的,将其处理成信号,并将这些信号提交给人类或自动化监督系统。

换句话说,我们需要知道代理机构做了什么,为什么做了。

正如我们最近的研究表明的,目前的代理框架 — — 操作代理的软件 — — 并不能可靠地产生我们确保安全部署代理的关键可观察性记录。

代理提出新类型的问题,而仅靠基因AI并不能解决。