每个人都在构建 LLM 路由器，我们弃用了我们的路由器

{this.querySelector('.blog-post__share-check').style.display='none';this.querySelector('.blog-post__share-copy').style.display='block'},2000)">我们不再相信模型路由。对于大多数用例来说，坚持使用单一经过实战检验的模型是最好的事情。最近，围绕 AI 模型路由器进行了巨大的炒作，它选择将响应的模型最近几周，我们也发布了许多类似的降低推理成本的请求，并决定首先删除它。我们在 3 月份推出了 Manifest LLM 路由器，作为我们的 LLM 网关的一项关键功能，并于 9 月 1 日将其永久关闭。与大多数 LLM 一样，我们的路由器将每个请求分为四个不同的复杂级别之一。路由器，我们的模型是为了降低成本而设计的。为什么要为一个简单的任务调用一个最经济高效的模型，对吧？经过 7000 个云用户的使用，我们看到了不同的结果和大量的 GitHub 问题。让我们深入探讨主要问题，它只是通过工具调用来发现的。让我们举个例子：如果您提到的是用纯 HTML5 编写的个人网站，那么“评估存储库 $GIT_REPO 的测试并改进它们”可能是一项非常简单的任务；如果您的目标是 Linux 内核存储库，那么缓存读取的成本比未缓存的输入要便宜 75% 到 90%。具有缓存感知能力的模型路由器会通过向最初选择的模型添加粘性来考虑这一点，并不断查询它，讽刺的是，有些人说“工程师不应该担心为他们的任务选择最好的 LLM”。