八十一轮下来四百万token,这个梯形我算明白了才服气

自己手搓了个带深度研究的智能体,跑通之后看账单差点跳起来。一轮任务八十一个回合,累计吃掉四百多万 token,可我最后一轮的上下文明明只有八万。想了半天才反应过来,这是个梯形:第一轮是系统提示加问题,第二轮把前面全带上再加推理和工具结果,第三轮再把前两轮全带上……到第八十一轮的时候,那八万确实是峰值,但前面八十次也各自发了一遍。八十一乘以平均五万多,四百万就是这么来的。所以真正该优化的从来不是最后那一轮多大,是中间那几十轮要不要把整段历史原样重发一遍

梯形这个比喻一下就懂了

有benchmark吗 想看压缩前后对比

八十一个回合 这任务是有多复杂

缓存命中能省钱 但省不了轮次