数token的小工具,比开网页贴文本香太多了

推荐个小到不能再小但我天天用的东西:一个命令行工具,直接数文件或者整个目录的token数。

用处很实在。写技能包、整理知识库、给MCP写描述的时候,我得知道这坨东西塞进去要吃掉多少上下文。以前的做法是打开网页计算器,复制粘贴,多个文件就得来回几十趟,还容易漏。现在一条命令扔个目录进去,一次出全。

我拿它做了件事:把知识库按token数排序,发现最大的三个文件占了六成,其中两个是历史遗留没人看的。删完之后上下文一下松了。

就是这种工具,功能一句话说完,但用上就回不去了。你们还有类似的小玩意儿吗

不同模型分词不一样吧 数出来准不准

按token排序找大文件 这思路好

这个我需要 网页计算器贴到手酸

能选分词器 但跨厂商肯定有偏差

这波是把估算变成测量 心里有底多了

必须冲 装起来应该不到一分钟