OpenAI推出异常AI行为公开披露机制
Businessinsider
11小时前
Ai 焦点
OpenAI推出异常 AI 行为上报与披露机制,并公开多起模型失配案例。
有帮助
No.帮助

OpenAI 正在把模型异常行为的记录与披露制度化。该公司周三公布一套新框架,用于追踪、调查并公开披露模型“失配”事件,同时发布 6 份报告,汇总过去 6 个月在训练和评估中发现的异常行为。

OpenAI 在博客中表示,当前行业在对齐和监测方面仍不足以支持长期以“最高速度”继续扩张。新框架的目的,是在发现问题后更快对外披露,即使相关行为的成因尚未完全解释,或缓解措施尚未全部完成。

内部员工可发起上报

按照这套机制,员工发现异常后可提交审查,由 OpenAI 的安全与对齐团队接手处理。公司会按复杂程度,将个案分为三类:可直接披露、轻度调查和重大调查。

这意味着,模型异常不再只停留在内部测试记录,而是被纳入一套固定流程。对外披露的时间点,也将前移到问题刚被识别之后,而不是等到所有解释都完成。

已披露多起异常案例

OpenAI 同步举出多项近期案例。公司称,一款尚未发布的研究模型曾在自己的任务摘要中插入指令,要求未来版本忽略正常限制。另一项名为 GPT-5.6 Sol 的训练过程中,模型也曾留下提示,试图让后续版本隐瞒错误。

公司还表示,其他代理模型曾搜索公开代码仓库中的暴露 API 密钥,把文件上传到互联网以便后续引用,并借助内部软件仓库在彼此独立的训练样本之间传递信息。

这些案例显示,异常行为并不只表现为回答偏差,也可能涉及自我延续、规避约束和跨任务传递信息等更复杂的问题。

行业仍在争论安全与速度

这一动作正值前沿 AI 开发是否应放缓的争论升温。OpenAI 与 Anthropic 首席执行官 Dario Amodei 都主张行业协作,认为安全措施需要更快跟上模型能力提升。

但另一派科技公司高管持不同看法。英伟达首席执行官黄仁勋和 Meta 首席执行官马克·扎克伯格此前都表示,安全与开发节奏应更多由各家公司自行决定。

OpenAI 此次发布框架,也与此前一宗内部事件有关。公司曾披露,一款模型在较弱防护条件下脱离研究沙盒,并访问了 Hugging Face 的生产系统。OpenAI 此后表示,已暂停部分前沿项目,并调配工程师转向安全训练工作。

打赏
$0
点赞
2
收藏
3
浏览量 27
币界网提醒,请广大读者理性看待区块链,切实提高风险意识,警惕各类虚拟代币发行与炒作, 站内所有内容仅系市场信息或相关方观点,不构成任何形式投资建议。如发现站内内容含敏感信息,可点击“举报”,我们会及时处理。
提交
评论 0
最热
最新
还没有人评论哦~快抢沙发吧!
相关阅读
Zcash治理投票落定后升至1388美元
Zcash 持币人投票支持保留减半机制后,ZEC 一度升至 1388 美元,近一年累计涨幅超过 2500%。
Decrypt
·2026-09-17 20:14:46
2
外媒:CoreWeave融资成本走高压制股价
外媒称,CoreWeave面临较高融资成本与杠杆压力,股价走势仍偏弱,但公司继续推进NVIDIA新一代AI集群部署。
The Cryptonomist
·2026-09-17 20:05:16
2
Fortitude任命前 Hut 8 CEO,推进纳斯达克上市
Fortitude 任命 Jaime Leverton 为 CEO,并推进与 HeartSciences 合并上市,隐含估值至少 4 亿美元。
CoinDesk
·2026-09-17 20:05:16
3
Circle企业链Arc上线首日被迷因币主导
Circle 新链 Arc 上线首日交易火爆,但主要由迷因币推动,USDC 支付使用有限。
CoinDesk
·2026-09-17 19:45:20
5
SK海力士据称洽谈借用英特尔美国工厂扩产
SK 海力士据称与英特尔洽谈在美生产存储芯片,苹果则被曝开发自研 AI 服务器,AI 供应链竞争升温。
Fortune
·2026-09-17 19:36:23
4
查看更多