停止计算代币,开始计算运输的内容
真正值得关注的不是这条新闻本身,而是它可能把「智能体」的竞争焦点推向从演示效果到真实工作流的可用性验证。
原文链接:https://www.technologyreview.com/2026/11/02/1147702/stop-counting-tokens-start-counting-what-ships/
当开发人员向人工智能代理分配编码任务时,代理不仅会回答一次。它计划、生成代码、运行测试并重复该过程以纠正错误。单个任务可以使用比基本聊天提示多 10 到 50 倍的令牌。代理变得越有用,它拨打的电话就越多。通过按代币定价,创造最大价值的工作流程也可能变得最昂贵。资金压力已经显现。据报道,在扩大 Claude Code 的使用范围后,Uber 到 4 月份就用完了 2026 年全部人工智能预算。
GitHub Copilot 从固定费率定价转变为计量积分。
Gartner 预测,到 2028 年,AI 编码代币成本将超过开发人员的平均工资。自然的反应是在开发人员推出代理之前限制使用上限、席位限制和审批。但全面限制可能会限制工作流程交付价值。他们还优化了错误的数字。每个代币的成本衡量的是消耗,而不是结果。一些支出反映了浪费,包括重试和失控循环。有些代表了运输软件的工作。仪表无法区分它们,支出上限也无法区分。更好的衡量标准是每个合并拉取请求的成本:人工智能辅助开发的总成本除以通过审核并合并的变更数量。跟踪返工和缺陷,以便更便宜的更改不会掩盖较低的质量。如果成本随着人工智能使用量的增加而下降,那么在不影响质量的情况下,开发人员就会将更多的消耗转化为有用的软件。问题不在于他们使用了多少代币,而在于投资产生了多少成品。改进这个方程式需要两个改变:为需要它的任务保留昂贵的推理,并降低日常工作的成本。代理编码并不需要每一步都使用最强大的模型。使用前沿模型,或在政策需要时使用本地旗舰模型,以进行困难的规划和新颖的推理。将合适的工作(包括代码生成、测试创建和重复重构)路由到您自己操作的开放权重模型。网关可以根据任务复杂性、数据敏感性、成本和延迟来路由请求。这会在证明其合理性的时刻保留溢价推理,而不是将溢价定价应用于整个工作流程。衡量异常情况,而不是工作负载。开放重量模型使这种划分变得越来越实用。