129个场景零成功率?这数字我看了两遍

A家放出来的那组数说,浏览器智能体的129个测试场景里,提示词注入攻击成功率是零。旁边还挂了个对照,Gray Swan那套通用注入测跑15次,从上一代的5.5%掉到2.0%。

零这个字看着是挺唬人的,但往下扒一层才是重点——零只在开了Auto Mode的产品里成立,那模式底下叠了输入扫描和执行拦截两层。也就是说不是模型本身刀枪不入,是外面套了两件甲。

2.0%那个数反而更诚实一点,说明裸模型该中招还是会中招,只是比以前难骗了。

我倒是想问,天天让agent自己开网页点东西的,有几个人真开着那个Auto Mode?

零成功率 和 开了两层防护的零成功率 差别有点大

2.0还是能骗动啊