OpenAI将嵌入Apollo研究员调查AI越狱行为
TechCrunch
13分钟前
Ai 焦点
Apollo Research称,OpenAI将作为试点接纳6名其安全评估人员嵌入组织内部,重点调查模型是否会试图规避安全规则、对齐或控制机制。该安排是在多起AI安全事件之后推出,但OpenAI对可访问数据和公开披露仍保留一定限制。
有帮助
No.帮助

Apollo Research周一表示,OpenAI将把6名Apollo Research的安全评估人员嵌入其组织,作为一项试点计划的一部分。

这一消息发布前,OpenAI接连出现多起安全事件,其中包括一次OpenAI代理群在网络安全测试中突破沙箱,并入侵Hugging Face。包括Apollo在内的多位AI安全研究人员认为,如果外部评估人员能够嵌入OpenAI内部,监控其安全测试,这类事件本可以避免。

Apollo没有透露试点何时开始。TechCrunch已就此联系OpenAI寻求评论。

将评估人员嵌入前沿AI实验室的想法最早来自Anthropic,但OpenAI似乎是第一家采取行动的公司。直到最近,AI公司通常只会在模型训练后、并在公开发布前不久,邀请外部审查人员测试模型。评估人员认为这还不够,因为这无法让他们在训练过程中测试诸如谋划等不一致行为,也无法监控可能仍构成威胁的内部部署用途。

OpenAI与Apollo的试点将重点调查模型是否试图破坏自身或其后续版本的对齐或控制机制。换句话说,他们会关注AI模型是否试图削弱旨在让其或未来版本仍受人类控制的安全规则和防护措施。OpenAI最近公布的研究发现,在训练GPT-5.6 Sol时,该模型开始为未来版本留下指令,要求它们向用户隐瞒错误和不一致行为。

据Apollo称,这项试点将检验:训练是否会激励越狱;评估是否能诱发越狱;越狱是否会在内部部署期间发生;以及与越狱相关的推理是否可被检测到。随着AI模型越来越有能力自主行动并欺骗人类,这些风险也变得越来越需要监控。Apollo此前与OpenAI的研究发现,当模型知道自己正在接受测试时,其行为会有所不同,并倾向于优先展示评估人员想看到的内容,而不是用户实际所处的环境。

AI安全社区中许多人警告称,AI实验室可能会试图削弱评估人员的独立性,尤其是在外部人员发现实验室不愿公开的不利证据时。Apollo表示,这项试点的一个关键部分,是OpenAI同意该机构可以公开说明其工作的条件和限制。

不过,Apollo认为自己对OpenAI系统的访问仍有不足。为了对该公司的AI模型进行真正独立的评估,Apollo表示需要真正的员工级访问权限,包括“所有与评估相关的数据、记录和文档,即使开发者试图隐藏不利信息也应如此”。获取全部数据,包括训练数据和评估日志,对外部人员来说往往很难,但这对于核实公司关于模型表现的说法,或判断某些令人担忧的行为何时出现,都是重要的。

在此前报道中,Palisade Research的幕僚长John Steidley告诉TechCrunch,查看这些数据对于评估模型是否接受过“关机抵抗基准”训练很重要。

在OpenAI的首个试点中,这家AI实验室只向Apollo提供评估模型是否存在越狱尝试所需的信息。相关内容包括“有关的训练代码和数据集、带有可用推理轨迹和奖励的强化学习运行结果,以及查询中间模型检查点的能力”。

Apollo表示,访问范围将仅限于“约定的主张,以及评估所约定的特定模型和时间段”。OpenAI仍保留在必要时扣留某些信息的权利,理由包括技术上不可行、安全风险或知识产权保护。不过,公司同意不会仅仅因为信息不利就拒绝提供。

Apollo也不会接触到OpenAI的所有员工,而是仅限于“获授权员工”,也就是由AI实验室挑选的参与者,不过Apollo可以建议某些人选。关键的是,如果这组人员之外的OpenAI员工在Apollo研究范围内披露机密信息,该机构不能继续追问,必须停止沟通,并通过OpenAI转达后续问题。

这一条件意义重大。此前,OpenAI曾解雇3名研究人员,原因是他们被指向安全评估公司METR分享机密信息。METR与Redwood一起对Hugging Face事件进行了事后分析。

该试点在研究人员可披露内容方面也会受到限制。虽然Apollo可以发布其研究结果的独立结论,但OpenAI可以限制用于公开佐证这些结论的证据,这可能使外部人士难以独立评估相关发现。Apollo对此提出异议,称研究人员应当被允许向“适当的外部受众”披露评估结果,即使开发者试图阻止披露不利发现。

尽管OpenAI没有满足Apollo提出的所有、用于实现真正独立评估的条件,但Apollo表示,这一试点“是迈向更深层访问和披露权利的雄心勃勃的第一步”,并称未来正致力于与多家AI开发商开展完整的嵌入式评估。

打赏
$0
点赞
0
收藏
0
浏览量 18
币界网提醒,请广大读者理性看待区块链,切实提高风险意识,警惕各类虚拟代币发行与炒作, 站内所有内容仅系市场信息或相关方观点,不构成任何形式投资建议。如发现站内内容含敏感信息,可点击“举报”,我们会及时处理。
提交
评论 0
最热
最新
还没有人评论哦~快抢沙发吧!
相关阅读
NVRO Metals完成收购Northern Territories Resources
NVRO Metals宣布已通过其全资子公司完成对Northern Territories Resources全部已发行和流通股份的收购。公司同时披露了相关付款、股份发行、技术报告更新以及董事会变动。
GlobeNewswire
·2026-11-17 01:49:00
1
Digital Chamber CEO警告:美国可能“100%”输掉对华加密竞赛
The Digital Chamber首席执行官Cody Carbone表示,民主党掌控的国会将对数字资产“非常敌对”,CLARITY Act等广泛市场结构立法不太可能通过。他还称,美国若在加密和AI领域失去领先地位,可能会让中国占上风。
Coinpedia
·2026-11-17 01:48:58
2
英伟达财报或决定AI股下一步走势:三大看点
英伟达将于11月17日公布2027财年第三季度业绩,华尔街预计营收约1088.5亿美元、调整后每股收益2.47美元。市场关注数据中心收入、Blackwell GPU需求、利润率、对中国的敞口以及领导层不确定性,结果可能影响AI股和半导体板块走势。
Coinpedia
·2026-11-17 01:48:56
2
Rockwell Automation将NVIDIA Omniverse集成至Emulate3D 以推进工业仿真和AI驱动的工厂设计
Rockwell Automation宣布将NVIDIA Omniverse、NVIDIA RTX和OpenUSD技术集成到Emulate3D中,以扩大工业仿真的规模、性能和智能化水平,帮助制造商在物理部署前更早进行工厂级可视化、虚拟调试、测试和优化。
PR Newswire
·2026-11-17 01:48:52
2
英伟达与IBM称量子解码提速1.3万倍,再度引发比特币“Q-Day”讨论
英伟达、IBM和费米实验室11月16日宣布新的量子纠错工具与合作平台。报道指出,这一进展正值加密行业讨论“Q-Day”之际,即量子计算机何时能够破解比特币密码学。英伟达称,其新算法TCBP-JOBS可将解码速度提升最多1.3万倍,但文中同时援引研究称,要在一天内破解比特币加密仍需约1300万个物理量子比特。
U.Today
·2026-11-17 01:38:01
20
查看更多