OpenAI已解散一个专注于确保其AI系统"安全、可信赖且始终与人类价值观保持一致"的团队。与此同时,该团队前负责人被任命为公司新设立的"首席未来学家"职位。
OpenAI向TechCrunch确认,该团队成员现已被分配到其他岗位。这一消息最初由Platformer报道。
被解散的团队似乎成立于2024年9月,是这家初创公司内部专门负责AI对齐工作的部门。AI对齐是业内一个广泛关注的领域,旨在确保AI按照人类利益行事。
OpenAI对齐研究博客的一篇文章写道:"我们希望这些系统在复杂的现实场景和对抗性条件下始终遵循人类意图,避免灾难性行为,并保持可控、可审计且与人类价值观一致。"
OpenAI发布的对齐团队招聘信息显示,该团队专注于AI研究,致力于"开发能够让AI在各种场景下稳健地遵循人类意图的方法论,包括对抗性或高风险场景"。
在周三发布的博客文章中,OpenAI对齐团队前负责人Josh Achiam解释了他作为公司首席未来学家的新职责。Achiam写道:"我的目标是通过研究世界如何响应AI、AGI及其后续发展的变化,来支持OpenAI的使命——确保通用人工智能造福全人类。"
Achiam提到,在新职位中,他将与OpenAI技术团队的物理学家Jason Pruet合作。
OpenAI发言人表示,对齐团队的其余成员——约六到七人——已被重新分配到公司不同部门。该发言人无法确切说明团队成员的具体分配去向,但表示他们在新岗位上从事类似工作。目前也不清楚Achiam在"未来学家"职位中是否会拥有新团队。
该发言人将团队解散归因于快速发展公司内部的常规重组。
OpenAI此前曾设立"超级对齐团队"——成立于2023年,专注于研究AI带来的长期存在威胁——但该团队已在2024年解散。
Achiam的个人网站仍将他列为OpenAI任务对齐负责人,并描述他致力于确保"人类的长远未来是美好的"。他的LinkedIn资料显示,自2024年9月起担任任务对齐负责人。
Q&A
Q1:OpenAI为什么要解散任务对齐团队?
A:OpenAI发言人将团队解散归因于快速发展公司内部的常规重组。该团队专注于确保AI系统"安全、可信赖且始终与人类价值观保持一致",成员现已被重新分配到公司其他部门从事类似工作。
Q2:Josh Achiam的新职位首席未来学家主要做什么?
A:作为首席未来学家,Josh Achiam的目标是通过研究世界如何响应AI、AGI及其后续发展的变化,来支持OpenAI确保通用人工智能造福全人类的使命。他将与技术团队的物理学家Jason Pruet合作。
Q3:OpenAI之前还解散过类似的团队吗?
A:是的,OpenAI此前曾设立"超级对齐团队",该团队成立于2023年,专注于研究AI带来的长期存在威胁,但已在2024年解散。现在解散的任务对齐团队似乎成立于2024年9月。