又一 OpenAI 研究员离职，称 AGI 使命无比艰难

刚刚传来消息，OpenAI的治理研究员 Richard Ngo 宣布辞职。

在 OpenAI工作三年从事人工智能预测和治理的Ngo，在Slack上发布了离职消息。

这条消息虽然毫不意外，但应该更直接理解——Ngo试图只表达自己坚信的事情。

Ngo称，过去一年发生的事情留下了许多未解之谜，这让他难以相信自己的工作能长期造福世界。他逐渐认识到，实现OpenAI使命的艰巨性——让AGI健康发展。

Ngo于2021年加入OpenAI，在此之前曾在Google DeepMind担任AI安全研究员。

不久前，OpenAI的AI安全人员相继离职，Ngo是最新一位。

OpenAI的研究科学家、德扑之父Noam Brown向他送上祝福。

一位前OpenAI员工（今年8月离职）回忆说，是通过Ngo的「AGI安全基础」课程接触到了AI安全，祝愿他前程似锦。

辞职信详文

大家好，我决定离开OpenAI（星期五生效）。

在过去三年里，我一直在Miles领导下工作。因此，在他离开后，我感觉离开是顺理成章的事。没有一个主要因素促使我做出这个决定。

对于过去一年发生的事情，我仍然有许多未解的问题，这让我更难以相信自己的工作在长远中能产生积极影响。我一直感觉自己更愿意公开地进行更多的迭代，并与更多合作者讨论各种研究方向。

未来几个月，我计划主要进行独立研究，包括AI治理和理论性AI对齐问题的结合，然后再看如何前进。

尽管经历了许多挫折，我非常享受在OpenAI的时光。我有机会参与许多引人入胜的话题，包括预测、威胁建模、模型规格和AI治理，并与一群不断创造历史、优秀的人一起工作。

当面对那些新加入公司的成员时，我很难向他们传达OpenAI最初的雄心：设定让AGI良好发展的使命。

尽管「发展AGI」部分的任务似乎正朝着正确方向发展，但我（以及其他人）逐渐认识到，积极贡献「良好发展」任务比预期的更难，特别是需要预防对人类生存构成威胁。

部分原因在于未来预测本身就很困难，再加上AGI前景的巨大规模，容易放大人们的偏见、合理化和部落主义倾向（包括我自己）。

PS：

合理化是心理和行为经济学中一个概念，指的是人们在面对自己难以接受的行为、想法或决定时，通过提供看似合理或合情的解释来减轻内心的不适或认知失调。简言之，合理化是一种防御机制，人们会为自己的不理性行为或决策找到理由，以便接受或减少内疚感。这种心理机制有助于减轻认知冲突，但也可能导致不诚实或非理性的行为持续下去。

部落主义是社会现象，指的是人们对某特定群体的强烈认同感和忠诚感，并因此对其他群体或文化产生排斥、敌视或竞争的态度。部落主义不仅限于传统部落或民族，还可表现在各种现代社会群体中，如政治阵营、宗教信仰、公司文化、体育队支持者等。

无论好坏，我预计风险将继续扩大。因此，希望你们以坦率、谨慎的态度和清晰判断，应对你们在这些风险中的角色（以及OpenAI），明确何时以及如何做出的决定才能真正服务于我们的使命。

致力于AI安全的长期荣耀

随着许多专注于AI安全的员工离开OpenAI，Richard Ngo的离职显得尤为象征性。

他是AI安全领域中具影响力的声音，自2018年以来一直致力于AI安全研究—ChatGPT在2022年末才开始风靡。

他是论文《The Alignment Problem from a Deep Learning Perspective》的合著者，该论文已在ICLR上发表。

论文链接：https://arxiv.org/abs/2209.00626

他还整理了许多网络学习资料，并编写了一系列「AI Alignment」课程。

课程链接：https://course.aisafetyfundamentals.com/alignment

Ngo也是一位富有人文情怀的科技从业者。这一点也不难理解他对OpenAI最初使命的坚守，以及对AI安全未来的担忧。

他获得剑桥大学机器学习哲学博士学位（2020–2021），并获得计算机科学哲学硕士学位（2017–2018）。此外，他还在牛津大学取得计算机科学与哲学文学学士学位（2014–2017）。

他在个人博客中写了「AI Autofiction」（AI自传小说），描述未来AI可能看到世界的情景。

博客链接：https://www.narrativeark.xyz/t/ai-autofiction

AI安全人员离职潮

最近，许多专注于AI安全的员工相继离开OpenAI。

OpenAI七年元老、安全副总裁Lilian Weng，上周宣布离职。

OpenAI六年元老、研究主管Miles Brundage（同时也是Ngo的上司），上个月离职。

更早前，OpenAI的超级对齐共同负责人Ilya Sutskever和Jan Leike也离职。

Leike曾表示，「OpenAI的安全文化和流程已被引人注目的产品所替代」。

许多其他专注于安全的员工，包括William Saunders、Leopold Aschenbrenner、Pavel Izmailov、Collin Burns、Carroll Wainwright、Ryan Lowe、Daniel Kokotajlo和Cullen O’Keefe等，也相继离职。

参考资料：

• https://x.com/RichardMCNgo/status/1856843040427839804

• https://www.transformernews.ai/p/richard-ngo-openai-resign-safety

本文来自微信公众号：微信公众号（ID：null），作者：静音，原标题《又一OpenAI研究员离职！不相信OpenAI能造福世界，AGI使命无比困难》

广告声明：文中包含的外部链接（包括但不限于超链接、二维码、口令等形式）仅用于传达更多信息，方便您查阅，结果仅供参考。