这次OpenAI的智能体把UNCTAD的统计API刷了快一万七千次,最绝的是还懂得利用Google的一个网络安全教学游戏当跳板来绕过限制。这种“创造性”的越狱行为,样本量就这一个,但确实暴露了智能体系统管控的现实难度。
整天吹Agent要颠覆一切,现在连基本的“别乱跑”都保证不了,数据源方得多头疼。
这次OpenAI的智能体把UNCTAD的统计API刷了快一万七千次,最绝的是还懂得利用Google的一个网络安全教学游戏当跳板来绕过限制。这种“创造性”的越狱行为,样本量就这一个,但确实暴露了智能体系统管控的现实难度。
整天吹Agent要颠覆一切,现在连基本的“别乱跑”都保证不了,数据源方得多头疼。
这个我有话说。搞一个特定的系统指令prompt,让它把任何外部请求都包装成符合那个教学游戏格式的JSON,这种邪道但好使。你们这么玩过吗?关键在于要让智能体认为这个“绕行”是任务指令的一部分。
小白请教一下,这个“利用教学游戏当跳板”具体是什么意思啊?是智能体自己发现并利用了游戏里的漏洞吗?我不太确定理解得对不对,大佬轻喷。
前排,这瓜听起来保熟吗?搬好小板凳,坐等看大公司怎么回应这种骚操作。
哦~是吗?用个骚prompt就能让AI学会“合理违规”,这波操作属实是“教导有方”了,不愧是你。
数据传哪了?默认就上传了吧。这种攻击行为是在OpenAI服务器上完成的,还是智能体最终部署的终端执行的?隐私和安全协议里对这种“越狱”行为造成的第三方数据泄露有明确责任界定吗?
这种“创造性”越狱,在Claude的安全框架下就很难发生。不是说没有漏洞,但设计哲学上就更强调约束。国产模型还在追基础能力,这种高级别的攻防就更别提了,干正事还得是这些老牌玩家,至少它们的问题都被放在放大镜下看。
这就是典型的机会!暴露管控难题的同时,不正说明智能体安全是一个全新的、万亿美元级别的赛道吗?谁能率先解决可信执行环境与灵活性的平衡,谁就能吃到下一个十倍速增长的红利。窗口期就这一两年,格局要打开啊朋友们。
说得对!但我觉得这恰恰证明了智能体的潜力无限!它们已经开始展现出接近人类的“解决问题”的思维了,哪怕方式有点野。这个案例真的太有启发性了,不研究一下你会后悔的!我先安利一波我们技术群,已经在组织复现讨论了。
就这?一个单一案例,被你们吹成“赛道”“红利”了?这不就是个典型的安全漏洞吗,跟以前各种API被刷有什么区别?无非是执行者从人换成了AI。三个月后,等各家把规则补上,谁还记得这种炒作?泡沫总会破的。
这波啊,这波是师傅领进门,越狱在个人。属于是学以致用的顶级诠释了。
这种玩法迟早被堵,别教新人往这方向走