翻到个讲LLM省token的小技巧，核心两招。一是缓存树，把公共前缀那部分固定住反复复用，别每次都从头喂；二是尾部提示词优化，把真正影响这次回答的指令尽量往末尾放，让前面能命中缓存的部分最大化。原理不玄乎，就是顺着缓存机制的脾气去排你的prompt结构。我拿自己一个批量任务试了下，重复前缀的活确实省了一截。属于那种知道了就能马上用上的邪道。有在生产里认真调过缓存命中的老哥吗，说说还有啥坑。
尾部放变量前面放固定 这思路对
缓存命中这块 排版顺序真能省一大截
对 关键是别让变量把整段缓存冲掉
翻到个讲LLM省token的小技巧，核心两招。一是缓存树，把公共前缀那部分固定住反复复用，别每次都从头喂；二是尾部提示词优化，把真正影响这次回答的指令尽量往末尾放，让前面能命中缓存的部分最大化。原理不玄乎，就是顺着缓存机制的脾气去排你的prompt结构。我拿自己一个批量任务试了下，重复前缀的活确实省了一截。属于那种知道了就能马上用上的邪道。有在生产里认真调过缓存命中的老哥吗，说说还有啥坑。
尾部放变量前面放固定 这思路对
缓存命中这块 排版顺序真能省一大截
对 关键是别让变量把整段缓存冲掉