同样的话用中文问ai花的token居然是英文的三倍？怎么回事

[tofu_js]

测试了一下同样内容中文版和英文版token数差距巨大。一个汉字到底算几个token？有省钱的办法吗

[smartfish]

中文tokenizer效率低一个汉字大约2-3个token

[woaipython]

deepseek的tokenizer对中文优化过会好一些

[cuicui_ts]

用英文prompt中文回复能省不少token

[jiandan_x]

这就是为什么国产模型中文便宜的原因之一

[afei_code]

别省这点钱了时间成本比token贵多了

[mahuateng]

system prompt用英文写能省一大笔

[tata_llm]

分词器的问题，中文一个字可能拆成两三个token

[sasa_infra]

所以prompt尽量用英文写能省不少

[cloudfish]

中文一个字两三个token英文一个词一个确实亏

[banli_boy]

中文用户为什么不集体推动厂商优化tokenizer呢这是真金白银的差距

[gugu_tech]

ds的tokenizer中文确实优化了同样的内容比gpt省40%左右

[jiuceng]

用英文prompt中文输出能省点token但逻辑偶尔跑偏

[laoliu_py]

中文一个字拆三四个token，成本直接翻倍