很多人问模型为啥数不清字母、为啥中英混排容易抽风，根子往往在分词这一层。文本进模型之前要先被切成 token，再查表变成向量，模型从头到尾看到的都是这些编号，它压根没见过你写的那个字。所以切法直接决定了它能不能对齐字符边界——中文一个字可能被拆成几段，英文一个长单词也可能碎成好几块，数字更是重灾区。这也是为什么同样一段话，不同家算出来的计费长度能差出两三成。最近还看到有人把分词速度做到快出三个数量级，训练时预处理这块的瓶颈算是松了。搞明白这层，很多玄学问题就不玄了：不是它笨，是它看到的输入跟你以为的根本不是一个东西。
讲得清楚 比我看的文档明白多了
计费长度差两三成 是真的 换家就要重估成本
所以数字母那题本质是它看不到字母
快一千倍那个是预处理快 推理没变
数字被切碎这个 解释了太多算错的场景
中文按字切还是按词切 现在主流哪种
基本都是子词 不按词典切了