OpenAI推出新的图像分类器和ChatGPT警示机制以打击CSAM
TechCrunch
12分钟前
Ai 焦点
OpenAI宣布推出新工具以应对儿童性虐待材料(CSAM)相关风险,包括可识别CSAM图像的新图像分类器、针对试图创建或访问性化儿童内容的警示和临时封禁、面向开发者的新指南,以及供执法部门使用的一套工具。公司称,这些措施已在早期测试中帮助减少审查工作量。
有帮助
No.帮助

OpenAI今天宣布推出新工具,以应对围绕AI工具使用日益加剧的安全担忧,重点打击儿童性虐待材料(CSAM)。这些功能包括:用于检测CSAM的新图像分类器、用于阻止用户创建或访问性化儿童内容的警示和临时封禁、面向开发者的新指南,以及一套供执法部门使用的工具。

该公司发布了一款新的图像分类器,可以识别CSAM图像,包括AI生成的图像。OpenAI正通过其API向部分公司免费开放这项分类器。该工具会寻找图像中此前未见过的虐待视觉特征,并给出一个评分,为审查人员处理CSAM提供指引。

OpenAI表示,这款分类器是与美国国家失踪与受虐儿童中心(NCMEC)共同开发的,并正与Tech Coalition和ROOST合作分享该工具的使用权限。公司称,在与合作伙伴的早期测试中,这套AI工具在发现同样数量虐待图像的同时,标记的图像数量减少了48%,从而减轻了审查人员的工作量。此外,被分类器标记的图像被证明是虐待图像的概率是其他图像的两倍。

此外,公司还在ChatGPT中加入新的警示页面,以阻止用户访问性化儿童的内容。对于尝试此类提示词的用户,ChatGPT会显示警告,引导用户前往专门支持渠道以停止有害行为,并将账户临时暂停24小时作为警示。该应用目前已屏蔽CSAM内容及相关请求。OpenAI表示,重复违规可能导致账户被永久移除。

OpenAI指出,公司围绕这一行为制定的信息和指南,是与多个组织和研究人员共同形成的,包括Protect Children、Lucy Faithfull Foundation,以及塔斯马尼亚大学的Joel Scanlan;后者独立评估了一项威慑信息试验。

公司还在发布面向使用OpenAI工具的开发者指南,以帮助他们预防、检测并协助用户举报CSAM内容。OpenAI表示,在早期测试中,这些指南已帮助一些开发者采用儿童安全工具,并向NCMEC注册报告CSAM。OpenAI还在为处理儿童安全问题的执法部门配备AI功能,例如专用插件、调查工具和复杂数据分析,相关访问由项目管理员管理。公司同时还为调查人员提供培训,并附上一份关于如何使用AI的实地指南。

OpenAI面临多起诉讼,原告指责其技术对用户,尤其是儿童,造成伤害。专注安全的非营利组织Common Sense Media将OpenAI的技术称为青少年“不可接受的风险”。其他AI聊天机器人——尤其是Grok——也被用于生成非自愿的性化图像,其中包括儿童图像。

这家AI初创公司在过去12个月里对其技术做出了一系列调整,包括发布安全蓝图、更新内容指南以禁止不当内容、重新调整模型以防止其生成有害内容,以及推出面向青少年的ChatGPT特别版本。

打赏
$0
点赞
0
收藏
0
浏览量 12
币界网提醒,请广大读者理性看待区块链,切实提高风险意识,警惕各类虚拟代币发行与炒作, 站内所有内容仅系市场信息或相关方观点,不构成任何形式投资建议。如发现站内内容含敏感信息,可点击“举报”,我们会及时处理。
提交
评论 0
最热
最新
还没有人评论哦~快抢沙发吧!
相关阅读
英伟达与IBM称量子解码提速1.3万倍,再度引发比特币“Q-Day”讨论
英伟达、IBM和费米实验室11月16日宣布新的量子纠错工具与合作平台。报道指出,这一进展正值加密行业讨论“Q-Day”之际,即量子计算机何时能够破解比特币密码学。英伟达称,其新算法TCBP-JOBS可将解码速度提升最多1.3万倍,但文中同时援引研究称,要在一天内破解比特币加密仍需约1300万个物理量子比特。
U.Today
·2026-11-17 01:38:01
0
美联储主席Warsh强调AI对经济的重要性,但称其也可能令市场失望
美联储主席Kevin Warsh表示,人工智能可能显著影响经济和货币政策,但也可能带来失业上升,甚至在资本投入和股市上涨后“令人失望”,拖累经济增长。
CNBC
·2026-11-17 01:37:59
0
OpenAI将嵌入Apollo研究员调查AI越狱行为
Apollo Research称,OpenAI将作为试点接纳6名其安全评估人员嵌入组织内部,重点调查模型是否会试图规避安全规则、对齐或控制机制。该安排是在多起AI安全事件之后推出,但OpenAI对可访问数据和公开披露仍保留一定限制。
TechCrunch
·2026-11-17 01:37:57
0
Saylor 的 Strategy 继续买入比特币,趁跌加仓一点“橙色”
Strategy 在一份文件中披露,已增持 485 枚比特币,并回购 2.28 亿美元的 STRC 优先股,使其截至 11 月 15 日的比特币持仓增至 850,849 枚,美元资产达 49 亿美元。与此同时,MSCI 正在敲定规则,可能将 Strategy 等比特币财库公司剔除出主要股票指数。
Decrypt
·2026-11-17 01:37:55
0
Element451加入Connected Campus生态系统,将代理式AI参与延伸至学生全生命周期
Element451宣布加入Connected Campus生态系统,作为其中的参与和行动平台,借助Bolt Agent Platform和Element AI CRM,帮助高校在招生、录取和学生支持等环节更高效地触达潜在学生和在校学生。
PR Newswire
·2026-11-17 01:37:53
0
查看更多