OpenAI今天宣布推出新工具,以应对围绕AI工具使用日益加剧的安全担忧,重点打击儿童性虐待材料(CSAM)。这些功能包括:用于检测CSAM的新图像分类器、用于阻止用户创建或访问性化儿童内容的警示和临时封禁、面向开发者的新指南,以及一套供执法部门使用的工具。
该公司发布了一款新的图像分类器,可以识别CSAM图像,包括AI生成的图像。OpenAI正通过其API向部分公司免费开放这项分类器。该工具会寻找图像中此前未见过的虐待视觉特征,并给出一个评分,为审查人员处理CSAM提供指引。
OpenAI表示,这款分类器是与美国国家失踪与受虐儿童中心(NCMEC)共同开发的,并正与Tech Coalition和ROOST合作分享该工具的使用权限。公司称,在与合作伙伴的早期测试中,这套AI工具在发现同样数量虐待图像的同时,标记的图像数量减少了48%,从而减轻了审查人员的工作量。此外,被分类器标记的图像被证明是虐待图像的概率是其他图像的两倍。
此外,公司还在ChatGPT中加入新的警示页面,以阻止用户访问性化儿童的内容。对于尝试此类提示词的用户,ChatGPT会显示警告,引导用户前往专门支持渠道以停止有害行为,并将账户临时暂停24小时作为警示。该应用目前已屏蔽CSAM内容及相关请求。OpenAI表示,重复违规可能导致账户被永久移除。
OpenAI指出,公司围绕这一行为制定的信息和指南,是与多个组织和研究人员共同形成的,包括Protect Children、Lucy Faithfull Foundation,以及塔斯马尼亚大学的Joel Scanlan;后者独立评估了一项威慑信息试验。
公司还在发布面向使用OpenAI工具的开发者指南,以帮助他们预防、检测并协助用户举报CSAM内容。OpenAI表示,在早期测试中,这些指南已帮助一些开发者采用儿童安全工具,并向NCMEC注册报告CSAM。OpenAI还在为处理儿童安全问题的执法部门配备AI功能,例如专用插件、调查工具和复杂数据分析,相关访问由项目管理员管理。公司同时还为调查人员提供培训,并附上一份关于如何使用AI的实地指南。
OpenAI面临多起诉讼,原告指责其技术对用户,尤其是儿童,造成伤害。专注安全的非营利组织Common Sense Media将OpenAI的技术称为青少年“不可接受的风险”。其他AI聊天机器人——尤其是Grok——也被用于生成非自愿的性化图像,其中包括儿童图像。
这家AI初创公司在过去12个月里对其技术做出了一系列调整,包括发布安全蓝图、更新内容指南以禁止不当内容、重新调整模型以防止其生成有害内容,以及推出面向青少年的ChatGPT特别版本。











