经典翻车场景:问它某个单词里有几个某字母,或者两个小数谁大,它一本正经给你个错的。很多人当笑话看,其实原因在整条链的最开头。
文字进模型之前要先切块。切出来的不是字母,是常见片段——一个词可能整个是一块,也可能被切成两三段,切法还跟出现频率有关。等到模型这边,它看到的是一串编号,那个词内部长什么样它压根没见过。
所以让它数字母,相当于让你隔着一层不透明的袋子数里面有几颗糖,你只知道袋子的编号。它能答对的时候,多半是训练数据里有人写过这个答案,不是它真数了。
数字比大小同理,多位数被切成好几块,块与块之间没有位值概念。
知道这一层之后,用法就清楚了:需要精确到字符和数值的活,让它写代码去算,别让它直接答。这一条能省掉八成这类翻车。