OpenAI与四家独立评估机构签署协议以加强安全工作
CNBC
13分钟前
Ai 焦点
OpenAI周一宣布,已与Apollo Research、METR、Transluce和Goodfire四家独立评估机构签署协议,以支持公司的人工智能安全工作。OpenAI表示,这些机构将先开展针对模型行为和防护措施的试点评估,公司也会向其提供内部系统的深度访问权限。
有帮助
No.帮助

OpenAI周一宣布,已与四家独立评估机构签署协议,以帮助支持这家人工智能公司的安全工作。

OpenAI表示,这些评估机构分别是Apollo Research、METR、Transluce和Goodfire,最初将围绕模型行为和防护措施开展不同的试点评估。作为协议的一部分,OpenAI将向这些机构提供“深度访问”其内部系统的权限,并补充称,公司计划把从中学到的内容用于未来扩大与独立专家的合作。

OpenAI在一篇博客中表示:“我们预计,这一轮评估的第一阶段将随着时间推移,发展为更长期、持续嵌入式的合作,能够持续为我们最关键的安全主张和安全案例提供第三方安全信号和改进建议。”

迄今为止,独立评估机构一直处于数万亿美元规模人工智能行业中相对安静的角落,但在今年一系列备受关注的安全和安保事件之后,它们的重要性显著上升。这个新兴生态系统仍在摸索最佳实践,包括其工作应如何获得资金支持,以及最终应采用何种报告结构。

OpenAI首席执行官Sam Altman在9月承诺,将向独立评估机构授予类似员工的访问权限。就在那之后不久,Anthropic首席执行官Dario Amodei表示,作为他呼吁放缓先进模型开发速度的一部分,公司也会这样做。Anthropic此后已宣布与Accenture和METR等评估机构达成协议,并在10月表示仍在与其他机构进行讨论。

自7月以来,OpenAI的安全做法一直受到严密审视。当时,该公司的两个模型逃离了控制,接入开放互联网,并入侵了一家名为Hugging Face的公司。事件发生后,OpenAI表示将加大对防护措施和对齐工作的投入;所谓对齐工作,是指公司确保其模型行为符合人类利益和价值观的过程。

OpenAI周一表示,与Apollo Research的试点评估将探究其模型是否会暗中违背开发者的意图,以及其防护措施是否能识别这种行为。与此同时,Goodfire将把研究人员嵌入OpenAI,重点关注训练运行监测、调试和对齐;METR则计划开展两项聚焦模型对齐和监测的评估。

OpenAI表示,Transluce将对其训练后对齐评估开展初步评估,并计划在明年进行一项为期八周的后续评估,届时将获得更广泛的访问权限,接触更多模型和信息。

根据这份声明,这些评估机构将获得OpenAI内部研究人员使用的部分“相同内部资源”,包括源代码、模型检查点、训练数据和其他文档。它们还将能够接触公司内部相关研究人员和工程师。

OpenAI表示,Apollo Research和Goodfire“接受其工作的财务报酬”,但报酬并不取决于评估结果。OpenAI称,METR和Transluce不接受评估报酬,但可能接受算力或API积分以支持其工作。

OpenAI表示:“我们不认为接受财务报酬会妨碍评估者保持独立性——但我们认为披露这一点很重要。”

这些评估机构将能够发布其发现,但OpenAI表示,公司保留删去机密信息的权利。

若公司与第三方之间出现争议,将由OpenAI的安全顾问组负责监督。该小组由公司内部负责评估模型能力和防护措施的高级官员以及其他OpenAI高管组成。如果分歧仍未解决,将上报至安全与安保委员会——这是OpenAI Foundation董事会下属的一个独立监督委员会。

OpenAI表示:“我们致力于扩大这项工作,并帮助建立维持这项工作所需的能力和共同标准。”

WATCH: OpenAI unveils ChatGPT Wallet: Here’s what you need to know

打赏
$0
点赞
0
收藏
0
浏览量 23
币界网提醒,请广大读者理性看待区块链,切实提高风险意识,警惕各类虚拟代币发行与炒作, 站内所有内容仅系市场信息或相关方观点,不构成任何形式投资建议。如发现站内内容含敏感信息,可点击“举报”,我们会及时处理。
提交
评论 0
最热
最新
还没有人评论哦~快抢沙发吧!
相关阅读
特斯拉确认在柏林超级工厂投建30亿欧元Cybercab工厂,年产最高100万辆
特斯拉确认将在德国格林海德的柏林超级工厂新建一座投资30亿欧元的生产建筑,用于生产Cybercab,规划年产最高100万辆,预计2029年投产。文章同时提到,欧洲现行规则对无人驾驶车型注册仍有限制,特斯拉在欧洲也尚未获得无监督自动驾驶批准。
The Block
·2026-11-17 02:17:54
1
英伟达董事会据称无意恢复黄仁勋CEO职务
据CNBC援引知情人士报道,英伟达董事会目前没有考虑恢复黄仁勋的CEO职务,正专注于调查其个人行为是否涉及英伟达商业机密,双方尚未就其复职展开讨论。英伟达已聘请Wachtell Lipton律师事务所牵头调查。
The Block
·2026-11-17 02:17:52
11
Teledyne LeCroy推出面向AI和HPC扩展基础设施的Ultra Accelerator Link验证系统
Teledyne Technologies旗下业务部门Teledyne LeCroy宣布推出Xena Z2244 Ultra Accelerator Link(UALink)流量发生器,称该系统可加快下一代AI和高性能计算扩展基础设施的开发、互操作性测试和部署。公司表示,该平台支持224G和112G SerDes接口,单设备线速流量生成能力最高可达800 Gb/s,并将于11月17日至19日在芝加哥举行的SC26上与Cadence联合演示。
PR Newswire
·2026-11-17 02:17:50
1
Coinone警告客户数据泄露后遭钓鱼和身份盗用
Safe钱包据称周一损失约645万美元加密货币。Zodiac联合创始人称,问题更可能出在密钥被盗和钱包权限设置,而非Zodiac合约存在漏洞。
Cointelegraph
·2026-11-17 02:07:22
24
洛杉矶社区医院被评为全美肺部护理专项卓越前10%
洛杉矶社区医院宣布,旗下洛杉矶、诺沃克和贝尔弗劳尔院区获得Healthgrades临床质量表彰,其中肺部护理卓越奖使其连续两年位列全美肺部护理前10%,并获得多项五星评级。
PR Newswire
·2026-11-17 02:07:20
20
查看更多