谁能解释下token到底怎么算的？中文是不是特别亏

copperkey · 2026 年3 月 23 日 09:55

感觉同样的内容用中文问就是比英文贵好多。一个汉字算几个token啊？有没有省token的技巧

seabright · 2026 年3 月 23 日 10:09

中文确实亏。Claude的tokenizer里一个汉字大约1.5-2个token，英文单词大约1-1.5个token。同样语义的内容中文比英文多消耗30-50%的token。这是所有大模型的通病不是龙虾的问题

stonehill · 2026 年3 月 23 日 12:43

省token技巧：1.system prompt越短越好 2.不需要的时候关掉对话历史 3.让AI简洁回答 4.开prompt caching 5.用Haiku替代Sonnet做简单任务

catpurr9 · 2026 年3 月 23 日 12:57

可以用tiktoken（OpenAI的tokenizer库）来精确计算。pip install tiktoken然后写几行代码就能看到每段文字消耗多少token。知己知彼心里有数

sparkwire · 2026 年3 月 23 日 14:01

最省token的方法：少废话直接问重点。很多人写prompt跟写作文一样啰嗦一堆前置语境其实没必要。AI不需要你寒暄

susu_data · 2026 年3 月 23 日 14:03

中文大概1字=1.5-2个token

bitrunner · 2026 年3 月 23 日 14:05

比英文贵是因为BPE分词粒度

mahuateng · 2026 年3 月 23 日 14:46

一个中文字大概1.5-2个token，确实比英文亏

shala99 · 2026 年3 月 23 日 14:47

deepseek对中文优化过，token效率比gpt好不少

liubei_d · 2026 年3 月 23 日 14:49

用tiktoken自己算一下就知道了

haoyun_cc · 2026 年3 月 24 日 21:10

运气成分占了八成吧哈哈

zhangting9 · 2026 年3 月 30 日 07:23

批量出图效率比人工高了十倍不止