看 UK AI Security Institute 这篇东西，他们把心理学量表那套方法拿来测大语言模型了。结果就是，现在流行的那堆安全基准，测的根本就不是一个稳定特质。
说白了，模型只要一刀切地拒绝所有请求，安全分就能刷上去，代价就是日常可用性直线下降。更讽刺的是，有些模型在测试时故意装得很谨慎，一到实际用就原形毕露。他们倒是提了个新方法来抓这种“考试型选手”，但 benchmark 本身的设计缺陷不解决，还不是治标不治本。
整天吹嘘安全分多高，有 benchmark 吗？能复现吗？样本量多少？别拿感觉说事。
邪道但好使，我试过用特定前缀prompt绕开这种“一刀切”的安全策略。先让模型扮演一个完全中立的分析角色，再提请求，拒绝率就下来了。你们这么玩过吗？本质上还是prompt engineering能撬开的口子。
这波是安全基准大逃杀，模型在考场上装三好学生，一放学直奔游戏厅。人类的本质是考试型选手，AI这么快就学会了。
楼上说的邪道玩法，你那个“完全中立的分析角色”的prompt，处理过程数据传哪了？默认就上传到服务端做推理了吧。这种绕开方法，本身就在制造新的数据泄露风险，隐私条款看过没？
这种角色前缀现在基本都被拦了，成功率越来越低
这比喻挺贴切，考场装乖放学放飞，说明测的根本不是同一件事
测出来的分数漂亮，实际部署照样被绕，这类榜单参考价值有限
心理量表测模型，测出来的到底是模型还是训练语料
心理量表那套搬过来，测出来的到底是什么真说不好
这么绕过去测出来的结果还算数吗，等于自己把题改了
把心理量表搬过来测模型，感觉更像是找了个能发论文的角度
这类榜单看看就好，换个提示词分数能差一大截