看到组挺扎实的实验数据，有人做了3225次测试，让各家LLM根据文字猜作者的年龄。结果特别有意思：模型给答案时一个比一个笃定，正确率却惨不忍睹。它们的判断逻辑基本是刻板印象大集合：用网络流行语的就是年轻人，句子长的就是中年人，提到点怀旧话题直接给你归到老年组。一个二十岁天天聊黑胶唱片的，妥妥被判五十岁。这事的警示在于，现在不少产品真在拿LLM做用户画像、简历筛选、内容年龄分级，底层就是这套刻板印象推理，还带着满格自信输出。数据摆这了：模型的自信度和准确率，很多时候是两条不相干的曲线。
样本量3225，这实验做得算认真的了
本质是训练数据里的刻板印象照单全收，模型只是镜子
所以让AI猜性别年龄这类需求，产品上就该直接毙掉
聊黑胶被判五十岁，我喜欢老歌岂不是成出土文物了
拿这玩意筛简历的公司，候选人找谁说理去
真有HR系统在用，想想就头皮发麻
自信和准确是两条曲线，这句该刻在每个产品经理桌上