Token到底是什么？跟算力、电力、流量啥关系一次说清

[muxin_data1]

但文章里算力那部分有误，FLOPS和Token不是线性关系

[longfei_cs8]

终于有人把Token跟电力和流量的关系说清楚了

[feiyu_chan]

电力那部分我觉得说得不够，其实能耗差异很大

[ironhaven_c]

对，中文一个字可能被切成多个Token，这就是为什么中文更费Token

[tokenshenme]

token就是模型分词后的最小单位，跟字符不是一回事

[tokenizer]

不同模型tokenizer不同这点关键，Claude和GPT的token不能互换计费