反应迟钝的站点,则可能面临流量的缓慢但难以逆转的流失。
上下文压缩与流程优化进一步收紧了膨胀空间。通过廉价模型预先过滤无关文档或工具输出、设置硬性 token 上限,以及将任务拆解为子代理(每个仅持有必要上下文),输入主导的成本结构得到显著改善。行业实操案例显示,组合使用这些方法后,单个复杂 coding 任务的 token 总量可从百万级降至十分之一左右,输入输出比例更趋均衡,而准确率并未明显下滑。
许多开发者在实际部署AI编码Agent时,都会遇到一个隐形陷阱:原本以为一次简单的bug修复任务,几千token就能搞定,结果因为自纠正和反思循环反复迭代,token消耗迅速失控,从初始几千直接攀升到数十万甚至百万级别。arXiv最新论文《How Do AI Agents Spend Your Money?
除了模型间差异,论文还指出,人为评定的任务难度与实际token消耗仅呈弱相关。人类直觉认为的“复杂Bug”,Agent执行时消耗的计算努力可能完全不同。这解释了为什么一些看似简单的修复任务会突然烧掉巨量token。类似地,前沿模型普遍无法准确预测自身token使用,预测相关性最高仅0.39,且系统性低估真实成本。这意味着预算规划往往不靠谱,值得持续跟踪,现在下结论为时尚早。
行业趋势显示,2026-2028 年整体 token 使用量预计呈现指数级增长,若优化滞后,“token 危机”或将制约部署节奏。
模型间效率差异也值得关注。在相同任务下,Kimi-K2和Claude-Sonnet-4.5平均比GPT-5多消耗超过150万token。人类专家对任务难度的主观评估,与实际token成本仅呈弱相关:开发者眼中复杂的bug,在Agent执行时可能消耗较少资源,反之一些看似简单的修复却引发反复审查,形成token黑洞。这种感知与现实的脱节,进一步放大了tokenomics管理的复杂性。
人类专家对任务难度的主观评估,与Agent实际token成本仅呈现弱相关。这一点目前行业内仍有不同声音。一些看似棘手的bug,Agent可能快速处理;而简单修复却因上下文维护反复触发审查,烧掉大量资源。这种感知脱节,进一步放大了tokenomics管理的复杂性。
前沿模型普遍无法准确预测自身token使用,预测相关性最高仅0.39,且系统性低估真实成本。这让预算规划变得困难,开发者在启动Agent前很难获得可靠的成本预期。结合输入token主导的特性,如何在模型选择和提示工程上进一步优化Agent轨迹,目前行业内仍有不同声音,值得开发者在实际项目中持续跟踪验证。
arXiv论文《How Do AI Agents Spend Your Money?》对8个前沿LLM的Agent轨迹进行了系统跟踪,发现输入token而非输出token主导了整体成本。在Agent反复读取上下文、调用工具和迭代调试的过程中,输入消耗往往占到70%以上。这一点与传统单次推理任务形成鲜明对比,也解释了为什么许多开发者在运行复杂代码库修复时,会突然看到账单成倍增长。
除了模型间效率差异,研究还发现人为评定的任务难度与实际token消耗仅呈弱相关。这说明人类直觉判断的“复杂Bug”,在Agent执行时所消耗的计算努力可能完全不同。有些看似简单的修复,却会意外烧掉巨量token,而一些被认为棘手的任务反而消耗相对可控。这种认知鸿沟,进一步放大了Agentic Coding在成本控制上的不确定性。
这种迭代循环带来的token爆炸,如今在开发者社区已成常见痛点。arXiv最新论文《How Do AI Agents Spend Your Money?》对八个前沿LLM在SWE-bench Verified上的轨迹分析显示,agentic coding任务的token消耗远超普通代码聊天或推理,高达1000倍左右,且主要由输入token驱动。
把演变过程当作一个长期能力建设的课题。