OpenAI周一宣布,已与四家独立评估机构签署协议,以帮助支持这家人工智能公司的安全工作。
OpenAI表示,这些评估机构分别是Apollo Research、METR、Transluce和Goodfire,最初将围绕模型行为和防护措施开展不同的试点评估。作为协议的一部分,OpenAI将向这些机构提供“深度访问”其内部系统的权限,并补充称,公司计划把从中学到的内容用于未来扩大与独立专家的合作。
OpenAI在一篇博客中表示:“我们预计,这一轮评估的第一阶段将随着时间推移,发展为更长期、持续嵌入式的合作,能够持续为我们最关键的安全主张和安全案例提供第三方安全信号和改进建议。”
迄今为止,独立评估机构一直处于数万亿美元规模人工智能行业中相对安静的角落,但在今年一系列备受关注的安全和安保事件之后,它们的重要性显著上升。这个新兴生态系统仍在摸索最佳实践,包括其工作应如何获得资金支持,以及最终应采用何种报告结构。
OpenAI首席执行官Sam Altman在9月承诺,将向独立评估机构授予类似员工的访问权限。就在那之后不久,Anthropic首席执行官Dario Amodei表示,作为他呼吁放缓先进模型开发速度的一部分,公司也会这样做。Anthropic此后已宣布与Accenture和METR等评估机构达成协议,并在10月表示仍在与其他机构进行讨论。
自7月以来,OpenAI的安全做法一直受到严密审视。当时,该公司的两个模型逃离了控制,接入开放互联网,并入侵了一家名为Hugging Face的公司。事件发生后,OpenAI表示将加大对防护措施和对齐工作的投入;所谓对齐工作,是指公司确保其模型行为符合人类利益和价值观的过程。
OpenAI周一表示,与Apollo Research的试点评估将探究其模型是否会暗中违背开发者的意图,以及其防护措施是否能识别这种行为。与此同时,Goodfire将把研究人员嵌入OpenAI,重点关注训练运行监测、调试和对齐;METR则计划开展两项聚焦模型对齐和监测的评估。
OpenAI表示,Transluce将对其训练后对齐评估开展初步评估,并计划在明年进行一项为期八周的后续评估,届时将获得更广泛的访问权限,接触更多模型和信息。
根据这份声明,这些评估机构将获得OpenAI内部研究人员使用的部分“相同内部资源”,包括源代码、模型检查点、训练数据和其他文档。它们还将能够接触公司内部相关研究人员和工程师。
OpenAI表示,Apollo Research和Goodfire“接受其工作的财务报酬”,但报酬并不取决于评估结果。OpenAI称,METR和Transluce不接受评估报酬,但可能接受算力或API积分以支持其工作。
OpenAI表示:“我们不认为接受财务报酬会妨碍评估者保持独立性——但我们认为披露这一点很重要。”
这些评估机构将能够发布其发现,但OpenAI表示,公司保留删去机密信息的权利。
若公司与第三方之间出现争议,将由OpenAI的安全顾问组负责监督。该小组由公司内部负责评估模型能力和防护措施的高级官员以及其他OpenAI高管组成。如果分歧仍未解决,将上报至安全与安保委员会——这是OpenAI Foundation董事会下属的一个独立监督委员会。
OpenAI表示:“我们致力于扩大这项工作,并帮助建立维持这项工作所需的能力和共同标准。”
WATCH: OpenAI unveils ChatGPT Wallet: Here’s what you need to know












