看到个东西定位挺清晰：夹在命令行编码工具和模型之间的一层，唯一目的就是把送出去的东西压小。
思路无非几种，重复的上下文不重复送、把不必要的历史裁掉、把大段内容换成摘要。听起来简单，但这活自己写特别烦，做成一层通用的确实省事。
我关心的是安全边界。省token这件事本质是在做减法，减多了模型就开始失忆，减少了又没效果，这个度很难拿捏。尤其是那种前面提过一次、后面突然要用的关键细节，被裁掉之后模型不会说自己不知道，它会编。
所以我的看法是，这类东西适合挂在重复度高的活上，比如同一个仓库里反复问相似的问题。真要做长链条推理，省下来的钱可能远不够擦屁股的。
有实测过前后差多少的吗？想看真实比例。