OpenAI庭审上马斯克唯一的AI专家证人担心AGI军备竞赛

我们啥时候该认真对待那些AI末日论者?
这其实是马斯克想关停OpenAI营利业务的一个关键潜台词。他的律师团说,这组织本是个专注AI安全的慈善机构,后来在追钱路上跑偏了。为了证明这点,他们搬出了创始人们早年的邮件和声明,说要搞个有公共精神的组织来制衡Google DeepMind。
今天,他们传唤了唯一一位直接谈AI技术的专家证人:Stuart Russell,加州大学伯克利分校的计算机科学教授,研究AI几十年了。他的任务就是提供AI背景知识,并说明这技术确实危险到值得担忧。
Russell在2023年3月签过一封公开信,呼吁暂停AI研究六个月。有意思的是,马斯克也签了同一封信,尽管他当时正在搞自己的营利性AI实验室xAI。
Russell告诉陪审团和法官,AI发展伴随着各种风险,从网络安全威胁到“错位”问题,再到开发通用人工智能(AGI)的赢家通吃性质。最后他说,追求AGI和安全之间存在矛盾。
Russell对不受约束的AI可能带来生存威胁的更大担忧,没能在公开法庭上说出来,因为OpenAI的律师反对后,法官限制了他的证词范围。但Russell一直批评全球前沿实验室竞相争夺AGI先发优势所引发的军备竞赛动态,并呼吁政府加强监管。
OpenAI的律师在交叉询问时则试图证明,Russell并没有直接评估该组织的公司结构或其具体的安全政策。
但记者(以及法官和陪审团)心里都得掂量掂量,公司贪婪和AI安全担忧之间到底有多大关联。几乎所有OpenAI创始人都曾极力警告AI的风险,同时也强调其好处,试图尽可能快地开发AI,并且谋划着由他们控制的、专注于AI的营利企业。
从外部看,这里一个明显的问题是,OpenAI创始后逐渐意识到,组织要想成功就得花更多钱在算力上。这些钱只能来自营利性投资者。创始团队对AGI落入单一组织手中的恐惧,促使他们寻求资本,而这资本最终撕裂了团队,造成了我们今天所知的军备竞赛,也引来了这场官司。
同样的动态已经在国家层面展开:参议员伯尼·桑德斯推动一项暂停数据中心建设的法律,这呼应了马斯克、山姆·阿尔特曼、杰弗里·辛顿等人阐述的AI恐惧。贸易组织“数据创新中心”的Hodan Omaar反对桑德斯只引用他们的恐惧而不提他们的希望,他告诉TechCrunch,“不清楚为什么公众应该无视科技亿万富翁说的一切,除非他们的话能被拿来填补一个站不住脚的论点。”
现在,诉讼双方都要求法庭这么做:认真对待阿尔特曼和马斯克的部分论点,但忽略那些对其法律论证不太有用的部分。


Image 2
Image 3



Image 7: TechCrunch Logo
Image 8

马斯克这波操作真够讽刺的,一边签暂停研究公开信,一边自己搞xAI疯狂招人。Russell教授的观点其实挺清晰的,AGI军备竞赛最大的问题就是安全被速度绑架,但法庭上居然不让说完。不过说实话,这官司本质还是商业利益扯皮,用安全当枪使。

所以最后到底是营利结构有问题,还是AI本身有问题?法官到底采信了哪部分?

唉,又是这种亿万富翁打架的戏码,说来说去不就是分赃不均嘛。

之前看过Russell那本《Human Compatible》,里面对齐问题讲得很透。实际做RLHF的时候,目标函数设计稍有偏差,结果就能差十万八千里。他担心军备竞赛下没人愿意花成本做足够长的安全测试,这个点我觉得特别实在。

小白问一下,AGI军备竞赛具体是指什么?是比谁先做出来吗?

Mark,回头细看。

这文章里的图是不是挂了?我这边只看到一堆代码似的链接。

没用过别碰。

我司之前和高校合作搞AI安全测评,光压力测试就跑了三个月,成本吓人。大厂为了抢发布窗口,压缩到几周太常见了。Russell呼吁监管不是没道理,但问题是谁来监管?监管的人懂技术吗?最后可能又变成 paperwork 大赛。