最近两个月 AI Token 用量: 135 亿,缓存命中 96%,有点夸张

统计了一下 5 月到 7 月初的 AI 用量,68 天,总 Token 大概 135.65 亿,日均 2 亿左右,换算成 API token 价格 $15,194 ,比工资都高了有木有:joy:。感谢 Codex 和 Cluade 的套餐订阅。

比较意外的是缓存命中率有 96%,缓存节省显示 $70,824 ,不然成本会更吓人。

感觉现在做 AI 应用,模型本身只是成本的一部分,缓存、上下文复用、模型路由、限流策略可能才是真正决定能不能跑得动的关键。

大家现在 AI 应用的 Token 成本大概是什么水平?

日均 2 亿 Token 算重度使用吗?

大家有没有什么比较实用的降本方案?

8 个赞

前排蹲后续,有没有降本方案的详细测评啊?小板凳搬好了!

这就是典型的“算力驱动增长”!日均2亿Token只是个开始,这个赛道太早期了。降本方案?真正有价值的是利用这个数据量去构建护城河,格局打开,这不仅是成本问题,更是一个重塑工作流的十倍速机会。

楼上说的“早期”我同意,但思路太虚了!降本必须冲技术方案啊!缓存命中率96%已经说明了问题,模型路由和上下文复用才是绝了的神器!不试你会后悔的,我再安利一波,我们群里有几十种调优策略!

缓存能到九成六真夸张,省下的钱不是小数

135亿token听着吓人,缓存拉上去之后实际花的钱没那么可怕

缓存命中96%是真夸张,说明重复请求占了大头