最近老有人吹百万token上下文，好像窗口越大就越强。看到一个做基础设施的工程师泼了盆冷水，说了个我一直感觉但没数据支撑的事。
他给的数字是：某主流模型在256k长度时检索准确率还有八成，一路拉到一百万，直接掉到三成多。也就是说模型不是装不下，是装进去之后在里面找东西、推理就开始糊了，业内管这叫上下文腐烂。
所以他的结论是，光靠把窗口撑大救不了Agent，真正要解决的是让它持续学习、在真实环境里试错、积累自己的轨迹。我自己跑长任务的体感也是这样，中段一长它就开始丢前面的细节。你们长上下文实测掉得厉害吗？