看到一组测试数据,有点吓人:针对智能体的新型攻击,也就是专门针对它怎么理解指令、怎么调工具设计的那种,成功率大概八成。而传统那套已知的越狱手法,成功率只有一成左右。
差距为什么这么大?因为过去几年所有的防护资源都堆在"别让模型说坏话"上,而智能体的攻击面压根不在输出,在输入和执行——你给它读一份文件,文件里藏一句指令,它就照做了。这条链路上几乎没有成熟防线。
更麻烦的是标准。现在关于智能体该怎么治理有一堆规范,关于它实际怎么被攻破,几乎没有可认证的标准。
要接生产的,先想清楚谁能给它下指令。
看到一组测试数据,有点吓人:针对智能体的新型攻击,也就是专门针对它怎么理解指令、怎么调工具设计的那种,成功率大概八成。而传统那套已知的越狱手法,成功率只有一成左右。
差距为什么这么大?因为过去几年所有的防护资源都堆在"别让模型说坏话"上,而智能体的攻击面压根不在输出,在输入和执行——你给它读一份文件,文件里藏一句指令,它就照做了。这条链路上几乎没有成熟防线。
更麻烦的是标准。现在关于智能体该怎么治理有一堆规范,关于它实际怎么被攻破,几乎没有可认证的标准。
要接生产的,先想清楚谁能给它下指令。
攻击面在输入和执行 不在输出
必须重视 这块要出大事
能限制权限就限制 别偷懒
防护全堆错地方了
文件里藏指令 我们内部演练过 一试一个准
新手问下 普通用户要担心吗
你不给它连内部系统 风险有限