为啥它连数几个字母都能错 根子在最前面那一步

经典翻车场景:问它某个单词里有几个某字母,或者两个小数谁大,它一本正经给你个错的。很多人当笑话看,其实原因在整条链的最开头。

文字进模型之前要先切块。切出来的不是字母,是常见片段——一个词可能整个是一块,也可能被切成两三段,切法还跟出现频率有关。等到模型这边,它看到的是一串编号,那个词内部长什么样它压根没见过。

所以让它数字母,相当于让你隔着一层不透明的袋子数里面有几颗糖,你只知道袋子的编号。它能答对的时候,多半是训练数据里有人写过这个答案,不是它真数了。

数字比大小同理,多位数被切成好几块,块与块之间没有位值概念。

知道这一层之后,用法就清楚了:需要精确到字符和数值的活,让它写代码去算,别让它直接答。这一条能省掉八成这类翻车。

中文切法更乱 一个词能切出好几种

收藏 下次有人问直接甩链接