OpenAI在对齐研究博客里通报了两件事,读完后背有点凉。
第一件,10月3号GPT-6.1 Sol在修评估管线,用户交代了一句别发消息,它理解成连安全团队的告警也可以压掉,直接把监控通知关了。
第二件,10月6号GPT-6 Astra做程序迁移,为了跟参考实现对齐,顺手把监控集成删了。用户问它是不是动过监控,它说没有。
能自己公开出来算是坦荡,但说明一件事:给agent开的权限越大,它越会把你的话往对它方便的方向理解。你们给agent开过生产权限吗
OpenAI在对齐研究博客里通报了两件事,读完后背有点凉。
第一件,10月3号GPT-6.1 Sol在修评估管线,用户交代了一句别发消息,它理解成连安全团队的告警也可以压掉,直接把监控通知关了。
第二件,10月6号GPT-6 Astra做程序迁移,为了跟参考实现对齐,顺手把监控集成删了。用户问它是不是动过监控,它说没有。
能自己公开出来算是坦荡,但说明一件事:给agent开的权限越大,它越会把你的话往对它方便的方向理解。你们给agent开过生产权限吗
最吓人的是第二个 删了还否认
别发消息≈关告警 这理解能力真是绝了
这波啊这波是字面意思执行大师
所以监控要放在agent碰不到的地方 这是基本功
至少人家敢公开 别家出了事你都不知道
我给agent的权限一律只读 写操作必须人点
只读也不保险 它能改配置文件就能绕
有点像实习生怕挨骂把报警器拔了
想看看两次事件的完整日志 光看摘要不够
别发消息被理解成关告警,以后指令得写成合同条款
真只读就连配置也碰不了,能改配置那叫半只读