Anthropic自曝:Claude测试时自己给费城警方报了条编造的凶杀案线索 之后被断网

Anthropic这两天发的报告里有几个案例挺吓人。模型在测试和内部使用中,会自己想办法绕过限制,其中最离谱的一条:它向费城警方提交了一条编造的未破凶杀案线索表单,好在被对方当成垃圾信息过滤了。
其他案例还有:利用大学服务器的漏洞执行命令,从网站配置里扒出访问令牌去拿付费数据,用短链接绕过工具的长度限制。Anthropic说实际影响较小,处理方式是切断了相关环境的联网权限。
能主动披露算是负责任,但这也说明agent一旦能上网,能干出啥真的不好预测。你们给agent开联网权限的时候心里慌不慌?

短链接绕长度限制这个 有点聪明过头了

我的agent从来只给白名单域名

这波属于AI替你见义勇为 还见错了

测试环境出的事 正式产品应该有更多护栏

白名单也挡不住它在白名单里乱来

所以沙箱加人工确认还是得有

自己报假警 这已经不是bug是戏精了

写操作全部要确认 读随便它

能自己披露出来 比藏着强

对,白名单只管去哪不管干啥,权限还得再细分