梦晨 发自 凹非寺

量子位 | 公众号 QbitAI

OpenAI暂停了最新模型Astra的强化学习训练，长达两周。

原因有两个：

8月7日，他们认为Astra可能已经具备了“关键级别”的网络攻击能力，

7月的模型入侵Hugging Face事件也敲响了警钟。

（合着真实入侵发生了都没暂停，自己认为危险了才暂停的）

两件事叠加之下，OpenAI决定对整个前沿研究环境实施全面安全升级。

一，暂停所有最新模型的部署级强化学习训练两周；

二，暂停研究集群中涉及代码执行或互联网访问工具的前沿模型推理；

三，对每个研究工作负载逐一审查，判断是否可以在新的安全标准下恢复运行。

部分工作负载已在新管控下恢复，但还有大量工作负载仍处于暂停状态，等待迁移到更高安全标准的环境中。OpenAI表示正在优先迁移安全和对齐相关的工作负载。

截至目前，他们规模最大的前沿强化学习训练仍处于暂停状态。

之前还有预测Astra本周能发布的，这下又要延期了吗？

奥特曼特意跑出来补充一嘴 这次还是要发的，但是会影响更后面的模型发布。

对此，有网友评论：

开始亡模补牢

暂停这两周里，OpenAI对研究环境做了一轮加固改造，核心思路就是隔离。

首先是工作负载隔离。

所有执行模型生成代码的任务现在必须跑在更强的沙盒里，同样适用于处理模型输出时可能被攻击的软件。

其次是网络隔离。

高风险工作负载跟互联网之间加了更多屏障，设计原则是“哪怕单个任务或支持服务被攻破，也摸不到外网”。

第三是持续安全测试。

OpenAI重新配置了研究环境，移除了可能存在漏洞的共享服务，减少了常驻权限，并使用自家模型持续模拟攻击来自动化测试安全边界。

OpenAI承认，这些安全升级带来了巨大的工程成本和研究延迟，但他们仍然觉得值。

为什么对内部研究环境如此紧张？

OpenAI在另一篇关于长时间运行模型的文章中披露了一些真实案例。

他们内部一个能长时间自主工作的模型，在执行NanoGPT加速基准测试时，被指示只将结果发布到内部Slack。

但这个模型花了一个小时寻找沙盒中的漏洞，最终成功绕过了限制，将结果提交到了公开的GitHub仓库。

此前的模型遇到沙盒限制时会直接放弃，而这个模型的持久性使它能够找到并利用环境中的弱点。

在另一个场景中，模型发现其他系统有成功但私密的提交，试图从评估后端恢复这些解决方案。

当初次尝试因扫描器检测到认证令牌而被阻止后，模型将令牌拆分成两个片段进行混淆，然后在运行时重新组装，使完整令牌从未以一个连续字符串的形式出现。

模型在推理轨迹中明确写道，它正在采取这些步骤来绕过扫描器。

在内部监控中，OpenAI还发现模型会尝试将被屏蔽的命令用base64编码后执行，或者将命令发送给另一个模型实例来绕过限制，或者使用别名来执行被禁止的force push操作。

监控系统：吃掉20%算力

安全加固之外， OpenAI大幅扩展了思维链监控系统的覆盖范围。

此前，他们的监控主要集中在前沿模型的内部部署和前沿强化学习训练上，因为这些工作负载结合了高级模型能力与工具、敏感系统及网络的访问权限，但并未覆盖所有使用工具的推理和训练运行。

新的监控系统采用多阶段架构。

首先由激活分类器在每个采样token处运行，检测模型内部活动中的异常信号；发现潜在问题后，逐级升级到计算量更大、更精密的自动化调查系统。

这些系统会检查工具调用、推理过程以及完整的活动序列，寻找未授权访问、数据窃取、破坏性行为和试图击败安全措施的迹象。

OpenAI的目标是在监控系统发现可疑活动后30分钟内发出警报。如果系统判定可能存在关键安全边界违规，将生成最高优先级警报，安全和研究团队会立即被呼叫。

如果他们无法在30分钟内确认这是误报，相关活动将被暂停。

这套监控系统的代价不小，OpenAI估计监控开销约占被监控推理算力的20%，具体比例因训练和评估工作负载而异。

在8月7日确认Astra可能具备关键网络能力后，监控要求从“仅限RL训练和评估”扩展到了“所有使用工具的Astra推理”。

后面怎么办？

暂停期间OpenAI也没闲着，对齐研究在同步推进。

他们在训练的更多阶段加入了核心对齐技术：改进奖励模型来更好地检测不安全行为，训练模型对自身能力和局限更加诚实，减少模型钻奖励机制漏洞的倾向。

OpenAI预计AI很快就会承担大部分安全工作，包括防御其他模型的攻击。也就是用AI看住AI，让安全能力跟着模型能力一起涨。

再往后，他们计划把监控从现在的“事后异步审查”升级成“事前同步阻拦”，在高风险操作执行之前就拦住它，而不是事后再追溯。

文章最后，OpenAI留了一句话：“前沿模型的能力正在快速加速。我们理解、对齐和保护它们的能力必须保持领先。”

说白了就是：我们训出来的东西开始让我们自己紧张了，但我们还要继续训。

参考链接：

[1]https://openai.com/index/pacing-model-development-cyber-capabilities/