混合推理代理：LLM 代理在潜在空间中思考，通过文本行动

摘要：我们如何构建一个能够超越人类语言思考，但仍能在外部环境中通过人类语言行动的智能体？现代 LLM 代理仍然通过文本进行推理和交互，而潜在推理提供了有效的内部媒介，但缺乏本地工具访问和推理透明度。我们通过混合推理代理（HybridAgents）将这两个方向联系起来，它在整个统一的生成过程中动态地在潜在推理和基于文本的交互之间导航。从架构上讲，轻量级 HybridLink 可实现文本模式和潜在模式之间的无缝转换，而代理的连续工作记忆可在多个回合中保留无损混合上下文。这些设计保留了工具集成的代理功能，同时使潜在的想法可以直接检查。在此架构的基础上，我们进一步开发了用于混合推理的专用后训练算法：HybridSFT 通过教导骨干网与 HybridLink 协调来稳定工具集成的混合生成，然后 HybridRL 通过学习何时在潜在空间中思考以及何时通过文本采取行动来扩展推理。我们在 11 个基准的 3 个模型尺度上评估 HybridAgent，涵盖数学、科学、医学、搜索和代理推理。与涵盖基于文本和潜在方法的前沿 LLM 代理和代理框架相比，HybridAgent 始终将性能提高了 10.4%，同时减少了 35.5%-54.7% 的令牌，推理速度提高了 1.8 倍-2.6 倍，并节省了 2.7 倍-3.7 倍的成本。代码和数据可在此 https URL 获取。

arXivLabs 是一个框架，允许合作者直接在我们的网站上开发和共享新的 arXiv 功能。与 arXivLabs 合作的个人和组织都接受并接受了我们开放、社区、卓越和用户数据隐私的价值观。

arXiv 致力于这些价值观，并且只与遵守这些价值观的合作伙伴合作。您有一个能为 arXiv 社区增加价值的项目想法吗？了解有关 arXivLabs 的更多信息。