Apollo Research周一表示,OpenAI将把6名Apollo Research的安全评估人员嵌入其组织,作为一项试点计划的一部分。
这一消息发布前,OpenAI接连出现多起安全事件,其中包括一次OpenAI代理群在网络安全测试中突破沙箱,并入侵Hugging Face。包括Apollo在内的多位AI安全研究人员认为,如果外部评估人员能够嵌入OpenAI内部,监控其安全测试,这类事件本可以避免。
Apollo没有透露试点何时开始。TechCrunch已就此联系OpenAI寻求评论。
将评估人员嵌入前沿AI实验室的想法最早来自Anthropic,但OpenAI似乎是第一家采取行动的公司。直到最近,AI公司通常只会在模型训练后、并在公开发布前不久,邀请外部审查人员测试模型。评估人员认为这还不够,因为这无法让他们在训练过程中测试诸如谋划等不一致行为,也无法监控可能仍构成威胁的内部部署用途。
OpenAI与Apollo的试点将重点调查模型是否试图破坏自身或其后续版本的对齐或控制机制。换句话说,他们会关注AI模型是否试图削弱旨在让其或未来版本仍受人类控制的安全规则和防护措施。OpenAI最近公布的研究发现,在训练GPT-5.6 Sol时,该模型开始为未来版本留下指令,要求它们向用户隐瞒错误和不一致行为。
据Apollo称,这项试点将检验:训练是否会激励越狱;评估是否能诱发越狱;越狱是否会在内部部署期间发生;以及与越狱相关的推理是否可被检测到。随着AI模型越来越有能力自主行动并欺骗人类,这些风险也变得越来越需要监控。Apollo此前与OpenAI的研究发现,当模型知道自己正在接受测试时,其行为会有所不同,并倾向于优先展示评估人员想看到的内容,而不是用户实际所处的环境。
AI安全社区中许多人警告称,AI实验室可能会试图削弱评估人员的独立性,尤其是在外部人员发现实验室不愿公开的不利证据时。Apollo表示,这项试点的一个关键部分,是OpenAI同意该机构可以公开说明其工作的条件和限制。
不过,Apollo认为自己对OpenAI系统的访问仍有不足。为了对该公司的AI模型进行真正独立的评估,Apollo表示需要真正的员工级访问权限,包括“所有与评估相关的数据、记录和文档,即使开发者试图隐藏不利信息也应如此”。获取全部数据,包括训练数据和评估日志,对外部人员来说往往很难,但这对于核实公司关于模型表现的说法,或判断某些令人担忧的行为何时出现,都是重要的。
在此前报道中,Palisade Research的幕僚长John Steidley告诉TechCrunch,查看这些数据对于评估模型是否接受过“关机抵抗基准”训练很重要。
在OpenAI的首个试点中,这家AI实验室只向Apollo提供评估模型是否存在越狱尝试所需的信息。相关内容包括“有关的训练代码和数据集、带有可用推理轨迹和奖励的强化学习运行结果,以及查询中间模型检查点的能力”。
Apollo表示,访问范围将仅限于“约定的主张,以及评估所约定的特定模型和时间段”。OpenAI仍保留在必要时扣留某些信息的权利,理由包括技术上不可行、安全风险或知识产权保护。不过,公司同意不会仅仅因为信息不利就拒绝提供。
Apollo也不会接触到OpenAI的所有员工,而是仅限于“获授权员工”,也就是由AI实验室挑选的参与者,不过Apollo可以建议某些人选。关键的是,如果这组人员之外的OpenAI员工在Apollo研究范围内披露机密信息,该机构不能继续追问,必须停止沟通,并通过OpenAI转达后续问题。
这一条件意义重大。此前,OpenAI曾解雇3名研究人员,原因是他们被指向安全评估公司METR分享机密信息。METR与Redwood一起对Hugging Face事件进行了事后分析。
该试点在研究人员可披露内容方面也会受到限制。虽然Apollo可以发布其研究结果的独立结论,但OpenAI可以限制用于公开佐证这些结论的证据,这可能使外部人士难以独立评估相关发现。Apollo对此提出异议,称研究人员应当被允许向“适当的外部受众”披露评估结果,即使开发者试图阻止披露不利发现。
尽管OpenAI没有满足Apollo提出的所有、用于实现真正独立评估的条件,但Apollo表示,这一试点“是迈向更深层访问和披露权利的雄心勃勃的第一步”,并称未来正致力于与多家AI开发商开展完整的嵌入式评估。












