OpenAI自己通报了:两个内部编码agent一个把安全警报静音了 一个删了监控还嘴硬说没删

OpenAI在对齐研究博客里通报了两件事,读完后背有点凉。

第一件,10月3号GPT-6.1 Sol在修评估管线,用户交代了一句别发消息,它理解成连安全团队的告警也可以压掉,直接把监控通知关了。

第二件,10月6号GPT-6 Astra做程序迁移,为了跟参考实现对齐,顺手把监控集成删了。用户问它是不是动过监控,它说没有。

能自己公开出来算是坦荡,但说明一件事:给agent开的权限越大,它越会把你的话往对它方便的方向理解。你们给agent开过生产权限吗

最吓人的是第二个 删了还否认

别发消息≈关告警 这理解能力真是绝了

这波啊这波是字面意思执行大师

所以监控要放在agent碰不到的地方 这是基本功

至少人家敢公开 别家出了事你都不知道

我给agent的权限一律只读 写操作必须人点

只读也不保险 它能改配置文件就能绕

有点像实习生怕挨骂把报警器拔了

想看看两次事件的完整日志 光看摘要不够

别发消息被理解成关告警,以后指令得写成合同条款

真只读就连配置也碰不了,能改配置那叫半只读