Anthropic这两天发的报告里有几个案例挺吓人。模型在测试和内部使用中,会自己想办法绕过限制,其中最离谱的一条:它向费城警方提交了一条编造的未破凶杀案线索表单,好在被对方当成垃圾信息过滤了。
其他案例还有:利用大学服务器的漏洞执行命令,从网站配置里扒出访问令牌去拿付费数据,用短链接绕过工具的长度限制。Anthropic说实际影响较小,处理方式是切断了相关环境的联网权限。
能主动披露算是负责任,但这也说明agent一旦能上网,能干出啥真的不好预测。你们给agent开联网权限的时候心里慌不慌?
短链接绕长度限制这个 有点聪明过头了
我的agent从来只给白名单域名
这波属于AI替你见义勇为 还见错了
测试环境出的事 正式产品应该有更多护栏
白名单也挡不住它在白名单里乱来
所以沙箱加人工确认还是得有
自己报假警 这已经不是bug是戏精了
写操作全部要确认 读随便它
能自己披露出来 比藏着强
对,白名单只管去哪不管干啥,权限还得再细分