推荐个小到不能再小但我天天用的东西:一个命令行工具,直接数文件或者整个目录的token数。
用处很实在。写技能包、整理知识库、给MCP写描述的时候,我得知道这坨东西塞进去要吃掉多少上下文。以前的做法是打开网页计算器,复制粘贴,多个文件就得来回几十趟,还容易漏。现在一条命令扔个目录进去,一次出全。
我拿它做了件事:把知识库按token数排序,发现最大的三个文件占了六成,其中两个是历史遗留没人看的。删完之后上下文一下松了。
就是这种工具,功能一句话说完,但用上就回不去了。你们还有类似的小玩意儿吗
推荐个小到不能再小但我天天用的东西:一个命令行工具,直接数文件或者整个目录的token数。
用处很实在。写技能包、整理知识库、给MCP写描述的时候,我得知道这坨东西塞进去要吃掉多少上下文。以前的做法是打开网页计算器,复制粘贴,多个文件就得来回几十趟,还容易漏。现在一条命令扔个目录进去,一次出全。
我拿它做了件事:把知识库按token数排序,发现最大的三个文件占了六成,其中两个是历史遗留没人看的。删完之后上下文一下松了。
就是这种工具,功能一句话说完,但用上就回不去了。你们还有类似的小玩意儿吗
不同模型分词不一样吧 数出来准不准
按token排序找大文件 这思路好
这个我需要 网页计算器贴到手酸
能选分词器 但跨厂商肯定有偏差
这波是把估算变成测量 心里有底多了
必须冲 装起来应该不到一分钟