F-Secure识别出AI可能伤害消费者的26种方式，以及如何阻止这些风险

新的AI伤害分类法追踪伤害如何在AI系统中传播，从误导性的聊天机器人回答到被攻破的自主代理，并识别防御措施可以在哪些环节介入

洛杉矶，11月10日（路透社）/PRNewswire/ -- 人工智能如今正在影响我们如何搜索、沟通、决策以及管理数字生活。但当它出错时，究竟会如何伤害人们？F-Secure最新发布的AI Harms Taxonomy将26种不同的消费者伤害进行映射，追踪每一种伤害如何到达用户。其结果是，清晰呈现了保护措施可以在哪些位置介入，以及谁最有能力提供帮助。

这套分类法由F-Secure首席威胁情报研究员Megan Squire博士开发，旨在解决AI风险讨论中的一个盲点。大多数框架只列出可能出错的地方，但没有进一步把这些伤害与能够防止它们的系统和公司联系起来。F-Secure的研究更进一步，梳理了AI驱动威胁与其对消费者造成影响之间的每一层，并据此指出防御应部署在哪里。

Squire博士表示：“随着AI系统能力不断增强，它们犯错的后果可能远不止给出一个糟糕的答案。开发这些系统的人有责任理解它们可能如何失效、失效时会伤害到谁，并在伤害发生前设置保护措施。”

这套分类法反映了风险本身正在发生变化。过去可能是犯罪分子直接针对某个人下手，但现在AI位于中间，这增加了新的参与者，也带来了新的出错方式。一个代表他人行事的助手可能被操纵去造成损害，而聊天机器人也可能充满自信地误导用户。在更底层，问题往往始于AI如何处理指令和记忆，或者它连接了哪些其他服务。

这项研究目前将26种伤害归入五类关系类型和19层中介层，并设计了24种防御措施，以应对不同环节的风险。示例包括AI生成的语音和视频冒充、代理做出有害的财务决策、泄露个人信息，或在过时上下文下采取行动。研究还考察了这样一种攻击：恶意指令被隐藏在AI系统处理的内容中，进而可能影响代理的行为，或影响聊天机器人告诉用户什么。

这一框架的核心发现之一是，防止AI伤害的责任分散在多个参与方之间。有些风险可以由个人设备上的安全软件处理；另一些则必须在更上游解决，由开发AI产品及其底层系统的公司负责，包括AI如何记忆信息以及它连接了哪些其他服务。厘清哪些环节由谁负责，有助于明确防御应放在哪里，以及谁必须去构建它。这也削弱了那种认为人们只要识别可疑内容、或反复核对AI给出的信息就能独自保持安全的观点。

随着AI从“生成信息”转向“基于信息采取行动”，谁来负责的问题变得更加紧迫。聊天机器人答错了，可能会误导用户，但至少用户仍然参与了这次交互；而一个可以访问用户账户及其关联服务的代理，则可能在没有这种来回确认的情况下造成真实后果。保护措施需要围绕这些系统实际在做什么来构建，而这首先要理解聊天机器人与代理之间的差异。

为AI代理构建防护

这项研究是F-Secure更广泛努力的一部分，旨在为AI时代建立信任。F-Secure Trust与其和Quantum AI Lab QuTwo达成的战略联盟一同宣布，是公司在AI代理越来越多地代表人们行事的世界中，保护用户的工作。TrustGuard旨在帮助保护人们在AI交互过程中的安全，而TrustPath则旨在保护他们从发现到交付的数字旅程。AI Harms Taxonomy为这些工作提供了研究基础，明确了防护措施需要应对的风险，也清楚表明，有效的保障还取决于构建和运行AI系统的公司。

面向AI时代的人本研究

当今的数字威胁早已不只是诈骗。F-Secure的Illuminate Research团队研究人和技术在现实中如何互动，探索AI时代信任、欺骗以及线上韧性的复杂现实。AI Harms Taxonomy可在Illuminate Research Hub获取。

关于F-Secure

F-Secure是一家以人为本、由AI驱动的消费者网络安全体验公司，拥有38年应对数字威胁的经验。公司帮助数字服务提供商将信任转化为高价值增长引擎——在一个充斥着AI驱动诈骗的世界中，保护其客户，同时帮助他们过上更好的数字生活。公司每年保护数十亿次数字交互，全球保护数千万消费者，并为合作伙伴创造超过100亿美元的价值，带来经过验证的大规模影响。

新闻联系人：

• Meghan Sawyer，资深公关经理，[email protected]
• Joel Latto，威胁顾问兼EMEA公关经理，[email protected]

以上信息由Cision提供：http://news.cision.com