全球AI创新治理|面向通用人工智能危害的事件报告系统设计

作者:梁若璇 发布时间:2026-05-26 来源:全球人工智能创新治理中心+收藏本文


编者按


随着通用人工智能系统加速渗透社会各领域,如何在事后发现并管控其带来的风险,已成为人工智能治理中亟待回答的核心问题。作者系统梳理了九个安全关键行业(航空、核能、医疗、网络安全等)的事件报告实践,提出了一套由七个维度构成的制度设计分析框架,并以此为基础,就美国人工智能事件报告制度的构建提出了关键考量。文章既关注强制报告与自愿报告的边界,也探讨监管型与非监管型机构在运营报告系统中各自的适用场景,并对责任豁免、信息共享与法律框架等实践难题进行了讨论。在国内外人工智能治理立法日趋活跃之际,文章的系统性梳理与跨行业视野对于相关政策研究者具有重要参考价值,以判断在人工智能事件报告制度中,不同设计选择分别在何种情形下更为合适。


以下译文仅代表原作者的研究观点与分析立场。详细内容请参阅文末原文链接。


摘要


文章提出了一个概念框架,并就人工智能事件报告系统的制度设计提供了若干思考。所谓人工智能事件报告系统,是指收集由通用人工智能引发的安全相关与权利相关事件信息的流程。随着通用人工智能系统日益广泛地被采用,这些系统正在造成越来越多的现实危害,同时也显现出引发更严重危险事件的可能。这类事件,是指已经对个人、财产或环境造成损害,或者本可能造成伤害的事件。在系统梳理相关文献的基础上,文章构建了一个理解人工智能事件报告系统制度设计的分析框架。该框架包括七个维度:政策目标、报告的提交方与接收方、被报告事件的类型、风险的实现程度、报告义务的执行方式、报告者的匿名性,以及报告之后的后续行动。在此基础上,文章进一步考察了安全关键行业中的九类事件报告案例,并从中提炼出适用于美国人工智能事件报告制度设计的关键考量。



作者


兰德公司人工智能治理中心(GovAI):凯文·魏(Kevin Wei),莱纳特·海姆(Lennart Heim)。


图片

文章发表于美国人工智能促进协会(Association for the Advancement of Artificial Intelligence, AAAI) 2026年会论文集

图片来源:AAAI

01

引言



近年来,通用人工智能系统,尤其是大语言模型(LLM),已经与多起具有广泛社会影响的危害事件联系在一起。例如,通用人工智能曾被用于实施一场金额高达2560万美元的金融诈骗,辅助策划爆炸袭击,生成露骨的深度伪造内容,意外删除一家公司的全部代码,并被证明具备勒索和欺骗的能力,还曾在美国及全球范围内传播选举虚假信息。与此同时,人工智能能力的持续增强、更具自主性的人工智能系统不断出现,加之通用人工智能应用范围迅速扩大,都意味着这类系统很可能在不久的将来引发更多、更严重的安全事件和权利事件。这里所说的安全事件和权利事件,是指人工智能系统已经对人员、财产、环境、法律权利、人权、基础设施或公共利益造成伤害,或险些造成伤害的事件。


正常事故理论认为,在通用人工智能这样高度复杂的系统中,严重事故随着时间推移几乎不可避免。随着系统复杂程度不断上升,失灵和事故发生的风险也会相应增加。而部署前的治理措施,如审计,也未必能够阻止所有人工智能事件的发生。例如,大语言模型的一些涌现能力可能在部署之后才意外显现,并进一步带来事先难以预料的事件类型。再加上通用人工智能本身具有跨领域部署的特点,由其引发的危害往往形式多样,风险来源复杂,发生场景各异,受影响主体也十分广泛。


正因如此,部署后的治理措施变得尤为重要,例如事件报告、部署后评估以及其他风险管理机制。这些措施有助于发现新的风险,也能提高外界对通用人工智能实际部署情况的可见度。尤其值得注意的是,事件报告制度已经在核能、民航、医疗、制药等多个安全关键行业中得到广泛应用。这些行业的经验表明,事件报告有望成为管理人工智能系统安全风险与权利风险的重要机制,因为它既能够促进经验学习,也有助于强化责任追究。


不过,目前人工智能事件报告机制尚未大规模建立起来。与此同时,人工智能治理领域关于事件报告的讨论仍处在发展阶段,关于人工智能事件报告系统应如何进行制度设计,现有研究能提供的指导仍相当有限。这里所说的制度设计,指的是对组织、规则和规范的安排,它们共同决定了不同参与主体之间的任务划分与责任配置。


为弥补这一不足,文章主要完成了两项工作:一是提出一个用于理解人工智能事件报告系统制度设计的分析框架;二是通过梳理九个安全关键行业的案例,首次对美国语境下人工智能事件报告制度的设计考量做出系统分析。文章的讨论范围仅限于制度设计本身,不涉及人工智能系统自身的设计问题,也不展开讨论事件报告机制在具体操作层面的实施细节。研究重点也仅限于由通用人工智能引发的安全事件与权利事件,而不涉及外部行为体攻击或利用通用人工智能系统所造成的安保事件,尽管二者之间可能存在关联。此外,文章也不讨论人工智能领域的吹哨问题。整体来看,这项研究希望为那些考虑将事件报告作为缓解通用人工智能危害工具的美国研究者与政策制定者提供参考。

02

人工智能事件报告的现状



事件报告系统的作用,在于让公司、用户、受害者以及其他掌握事件信息的主体,能够将相关情况传递给对人工智能产品负有责任或承担监督职能的机构。这些信息后续可用于多种目的,例如改进系统,避免类似危害再次发生,识别新的风险,评估现有安全缓解措施的效果,或为保险风险评估提供依据。


在“事件”这一概念上,文章采用了一种以结果为基础的定义:所谓事件,既包括已经在现实世界中造成损害的事件,也包括原本可能造成损害、但最终没有酿成实际后果的“未遂事件”。截至2025年7月,学界和政策界尚未就人工智能“事件”形成统一定义。文章并不主张这里采用的定义就是最理想、最易操作的版本,而是希望在尽可能覆盖多数重要情形的同时,与安全科学领域的既有定义保持一致。


图片

图片来源:路透社


接下来,文章回顾了通用人工智能事件报告相关的研究文献以及现有实践。


文献回顾。从已有研究来看,人工智能治理领域总体上支持建立事件报告机制。现有文献已经对事件数据库进行了分析,也讨论了文档记录等操作层面的因素;与此同时,也有研究提出了多种适用于通用人工智能的事件报告制度方案。不过,这些方案在制度设计和政策目标上并不完全一致,甚至彼此之间存在冲突。到目前为止,文献中仍缺少一项系统性的综合研究,专门讨论不同制度设计选择究竟在什么情形下更合适,而这正是文章试图解决的问题。


政府主导的人工智能事件报告举措。截至2025年11月,中国、欧盟、美国加利福尼亚州和韩国,是目前少数已经针对通用人工智能建立专门事件报告要求的法域。中国于2023年8月出台的生成式人工智能监管规定,要求人工智能服务提供者建立用户问题反馈渠道,并要求企业向政府报告任何“违法内容”。欧盟《人工智能法案》在正式实施后,将要求人工智能服务提供者向国家监管机构报告“严重事件”。美国加利福尼亚州则在2025年9月通过SB-53法案,要求前沿模型开发者向州政府报告特定的安全与安保事件,同时设立面向公众的举报热线。除此之外,包括美国联邦政府和各州政府在内的许多其他法域,也已经提出或正在考虑建立人工智能事件报告制度。


非政府主导的人工智能事件报告举措。私人部门中的非政府行为体也已经建立了一些人工智能事件报告系统。这类系统通常采取自愿、众包的事件数据库形式:向公众征集疑似事件报告,对提交内容进行筛选整理,再将整理后的数据库向公众开放。比较有代表性的包括人工智能事件数据库(AIID)、人工智能、算法与自动化事件及争议资料库(AIAAIC),以及人工智能漏洞数据库(AVID)。

03

事件报告系统的制度设计



事件报告系统在航空、农业等行业已经发展得较为成熟,因此完全可以借鉴这些行业的经验,并进一步判断其中哪些做法适用于人工智能领域。基于这一思路,文章参考既有研究中的案例研究方法,设计出一个三步分析路径,以识别人工智能事件报告制度的关键设计考量。


第一步,文章选取了九个拥有较成熟事件报告机制的安全关键行业作为案例,这些行业通过种子文献识别得出。第二步,在回顾这些行业事件报告制度相关文献以及人工智能治理文献的基础上,文章提出了一个由七个维度构成的制度设计框架。第三步,从这九个行业中有针对性地选取具体的事件报告系统,并按照这一框架进行分类。通过总结这些行业中的常见做法和较优实践,文章进一步提炼出适用于人工智能事件报告制度的设计考量,并讨论在什么条件下,不同制度安排更可能发挥作用。


文章在表1中展示了这一用于理解事件报告系统制度设计的分析框架。文章借助“风险演变阶段”这一维度,对事件“生命周期”作出工作性定义,并在图1中加以展示。文章特别区分了人工智能问题(或人工智能缺陷)与人工智能事件。前者指系统内部存在的状态或隐患,这些隐患一旦在外部环境中被触发,便会构成事件发生的前提;后者则指那些可能造成伤害但最终未造成伤害的“未遂事件”,以及已经实际造成伤害的“伤害事件”。此外,事件还可能进一步升级为紧急状态或危机,但这一层面不在文章的讨论之列。


图片

事件报告系统制度设计的七个维度

图片来源:文章原文


图片

人工智能事件的生命周期

图片来源:文章原文

04

人工智能事件报告系统的设计考量



在第三节所提出框架的基础上,文章考察了美国九个安全关键行业中的事件报告系统,包括核电、航空、农药、制药、网络安全、大坝、铁路、职业安全和医疗保健。围绕这九个行业的实践经验,文章讨论了人工智能事件报告制度可以借鉴的设计考量。相关讨论按照制度设计的不同维度展开。


事件报告系统的政策目标


回应事件报告的不同政策目标。政策制定者和系统运营者可能希望通过事件报告系统实现多重政策目标,例如促进安全学习,或强化企业问责。所谓安全学习,是指帮助相关主体从既往事件中吸取经验,改进流程,从而减少未来危害;所谓企业问责,则是指通过纠正措施或处罚机制,追究有关行为体对既有危害的责任。


从理论上看,一个系统可以同时服务于学习与问责两项目标,但在实际操作中,同时追求双重目标的系统并不常见,因为这两类目标往往对应着不同,甚至彼此冲突的制度设计选择。例如,若某一自愿报告系统以促进学习为目标,并鼓励责任主体直接向监管机构报告问题,那么一旦报告者担心因此遭受罚款,这一机制就很可能失去作用。因此,如果希望通过事件报告机制同时实现多个目标,往往需要分别建立多个分别聚焦于单一目标的系统。


报告的提交方与接收方


现有人工智能事件数据库的局限。AIID、AIAAIC和AVID这类第三方事件数据库,是提升人工智能风险可见性的有效起点。然而,这些数据库往往缺乏关键利益相关方的广泛支持,也经常缺少支撑安全学习所必需的信息。此外,这些数据库通常将促进安全学习作为明确目标,但仅靠数据库本身,是否足以在提升公众对人工智能危害认知之外进一步推动问责,仍然存在不确定性。


要让事件数据库真正服务于安全学习,既需要行业方面的认可,也需要政府方面的支持。文章以“国家大坝绩效项目”的大坝名录为例进行说明:这一大坝安全事件数据库整合了多个联邦项目、大坝工程师、专业组织以及私人收藏中的材料;与此同时,该项目还维护着一个实时事件通报数据库,相关指南由州级、联邦和行业中的大坝安全工程师共同制定。相比之下,当前人工智能事件数据库还远未获得类似程度的支持。例如,AIID的主要投稿者大多仍来自公民社会,而不是行业或政府。


正因独立数据库存在上述不足,人工智能治理领域的研究开始呼吁建立官方或集中化的事件报告系统。文章所考察的九个安全关键行业中,有八个都已经形成了超出独立事件数据库之外的更完整的报告体系。


图片

信息共享、事件报告与信息披露三种机制在信息流向、主体关系、层级结构、格式规范及正式程度上的对比

图片来源:文章原文


通过扩大覆盖面促进数据收集。所谓报告系统的“覆盖面”,是指事件报告面向哪些群体征集信息,以及该系统主要为哪些群体而设计。扩大覆盖面,意味着从更多不同主体那里收集信息,从而形成对事件全貌更完整的认识。当事件信息并不是集中掌握在某一类主体手中,而是分散在不同主体之间时,覆盖面的重要性尤其突出。不同主体既可能掌握尚未被报告的新事件,也可能对其他主体已经报告的事件提供补充信息或交叉印证。


一个具有较强覆盖面的典型案例,是农业领域的农药事件报告制度。农药既可能对直接使用者造成健康或环境危害,也可能对下游消费者产生影响。由于农药的分销链条本身极其复杂,且其危害往往呈现分散扩散的特点,围绕农药形成了一张庞大的报告与数据共享网络,其中涉及农业工人、中毒控制中心、医生、医学实验室、医院、美国大多数州政府、农业部、环境保护署、劳工统计局、世界卫生组织、化学品安全政府间论坛以及联合国粮农组织等多类主体。


人工智能系统同样可能以多种方式造成危害,尤其是一些传统安全科学未充分预见的方式,例如灾难性滥用、心理操控、心理健康损害,或对公民自由的侵害。有关大语言模型的研究表明,这类系统的实际采用范围已经相当广泛,而这预示着其风险模型与分发链条很可能至少与农业领域一样复杂。也正因为这种复杂性,与农药事件类似,人工智能事件相关信息也可能掌握在许多不同主体手中。因此,扩大报告系统的覆盖面,可能对于更全面地理解人工智能问题与人工智能事件至关重要;尤其是在低严重程度事件变得越来越普遍的情况下,这些因素更有理由支持为社会中不同群体建立相应的报告机制。


扩大覆盖面的一种做法,是建立多个分别面向不同知情主体的事件报告系统。满足这一目标的制度方案有很多,例如分别面向行业从业人员和供应链不同环节上的企业建立多个行业报告系统,面向不同垂直领域的服务提供者分别设计报告机制,甚至也可以建立一个主报告系统,但为不同主体设置多种不同的报告形式。


监管型与非监管型政府运营机构。政府事件报告系统究竟由监管机构还是非监管机构负责运营,会影响其政策目标以及报告后的处置方式。在文章考察的案例行业中,监管机构通常负责接收或监督来自公司、行业从业者、公民、第三方或产品使用者的报告。尤其是在法律要求行业行为体必须向政府报告事件时,报告机制通常由监管机构主导。除此之外,允许公众、第三方或产品用户直接向监管机构报告的系统,已经被证明有助于提升产品安全;如果监管机构能够基于这些报告采取执法行动,这种效果会更加明显。面向公众的举报热线还可能带来额外收益,例如为消费者提供信息或帮助他们获得相关资源。像航空这样的行业,就同时存在多套事件报告系统,其中有些由监管机构运行,有些则由非监管机构运行。


相比之下,那些由非监管机构接收事件报告的系统,通常不以惩罚为导向,而更强调学习功能,因为在缺乏监管权力的情况下,问责往往难以真正落实。因此,非监管机构更常承担的是协调公司或行业从业者进行报告的角色。正因为这些机构无权对报告者实施处罚,由其管理的系统往往更容易获得报告者的信任。除此之外,监管机构有时还可能因为担心大量事件报告有损自身声誉,而产生不愿主动征集报告的激励扭曲;相比之下,非监管机构通常较少受到这类政治压力影响,因此更可能避免此类问题。


由非监管机构管理的自愿报告系统中,最具代表性的案例是航空安全报告系统(ASRS)。美国联邦航空管理局将该系统的管理工作完全交由美国国家航空航天局负责。由于后者并不监管航空公司,由其担任管理者,有助于增强各方对ASRS的信任,尤其是在其能够保障报告者匿名并提供一定责任保护的情况下。类似地,美国国家运输安全委员会也是一个跨部门的事故调查机构。它本身不拥有监管权,允许外部专家和相关方参与调查过程,也较少受到政治过程的直接影响。这些特征使其调查程序更具合作性,也提高了利益相关方参与的意愿,因为参与意味着能够接触到更多事件信息。


图片

图片来源:NASA航空安全报告系统(ASRS)官网


用户向企业报告的系统。对于人工智能模型开发者和服务提供者而言,建立内部机制以接收并调查产品用户提交的报告或投诉,可能会带来明显益处。现实中,并非所有模型开发者都为用户或公众设置了危害报告渠道;即便已经设置,一些现有表单也未必能够系统收集有关危害或事件本身的关键信息。事实上,用户报告本可以成为极有价值的安全信息来源。因此,缺乏这类报告机制,会形成一个明显的制度缺口,使企业难以及时获得重要的安全信息,也就难以真正从事件中吸取教训。


被报告事件的类型


区分人工智能安全事件、安保事件与权利事件。人工智能事件报告系统的运营者,可以考虑采用一种将事件区分为安全、安保与权利三类的分类框架;不同类别的事件可能具有不同的风险特征,也需要不同的应对方式。值得注意的是,安全与安保在传统上属于两个不同的领域。人工智能领域安全措施的目标,在于保护外部行为体(即用户或人工智能系统之外的其他主体)免受此类系统可能造成的危害;而安保的目标,则是保护人工智能系统本身不受外部行为体的攻击。共享安保漏洞信息(乃至人工智能滥用信息)存在一定风险,而共享安全隐患信息则对于经验学习至关重要。安保事件通常可以通过打补丁的方式加以修复,而人工智能安全事件在模型层面往往不那么容易解决。此外,现有人工智能安保框架与安全框架之间存在较大差异。


权利危害与安保危害和安全危害均有所不同。在安全科学的传统语境中,“危害”这一概念通常不涵盖公民自由或人权侵害等内容,且大多数安全事件报告系统也不支持报告权利事件。这一局限性或许源于以下背景:历史上,权利危害主要由人而非技术系统造成——但随着通用人工智能系统自主性不断增强,它们可能引发新类型的权利危害,或放大已有的权利危害与不平等问题。


另一方面,安全事件、权利事件与安保事件(在人工智能领域)也可能同时发生。还需要更多研究来深入理解不同事件类型之间的交汇关系,以及事件报告与应对方式在不同事件类型之间可能存在的差异。


风险的实现程度


报告人工智能未遂事件。未遂事件,即本可能造成危害、但最终未造成实际后果的事件,是安全学习的重要数据来源,这一点尤为关键,因为绝大多数安全事件并非伤害事件,而是未遂事件。例如,一项医院研究发现,在已报告的安全事件中,不足1%造成了重大伤害,18%造成了轻微或暂时性伤害,82%未造成任何伤害;另有研究估计,未遂事件的发生频率可达伤害事件的300倍之多。减少未遂事件的数量,同样有助于减少伤害事件的发生。如果人工智能问题与事件的发生率与医疗或其他行业大体相当,那么人工智能未遂事件同样可能成为安全学习的重要资源。值得注意的是,未遂事件与伤害事件通常通过同一套报告系统进行上报。


政府和行业组织可以考虑为行业从业人员、用户、第三方或公民建立人工智能未遂事件报告机制——既可以设立专门针对未遂事件的报告系统,也可以允许将未遂事件与伤害事件或问题一并上报。未遂事件报告系统通常采用自愿参与的形式,但也可以设为强制性的;至少,学界已就一点达成共识:考虑到未遂事件并未造成实际危害,自我报告未遂事件应采取非惩罚性原则。许多行业已经建立了未遂事件报告系统,包括航空、核能、能源、化工和建筑等领域,其中一些可能适合作为人工智能领域的参考范本。


报告人工智能问题还是人工智能事件。人工智能问题同样可以成为安全学习的有用信息来源,人工智能治理文献近年来也开始关注“缺陷披露”议题。问题是否与事件通过同一渠道上报,可能取决于报告方是否同时掌握问题与事件两方面的信息。核能和民航等行业的部分事件报告系统,似乎允许同时报告问题和事件。然而,在人工智能系统中,某些隐患或情境可能只有专家或红队测试人员(专门负责模拟攻击或对抗性测试的专业人员)等第三方才能发现,这就可能需要为人工智能问题建立有别于面向用户、公众或其他主体的专门报告系统。系统管理员还需要确保问题报告不会使报告系统不堪重负,尤其是当提交内容主要是产品投诉而非安全或权利问题时。


图片

图片来源:The Hacker News


报告的执行机制


强制报告门槛。在部分安全关键行业,政府强制要求的事件报告已取得一定成效。欧盟《人工智能法案》已在这一方向迈出了重要一步,尽管其事件定义目前仍存在一定模糊性。对于高严重程度的人工智能事件,采用分阶段报告可能也是合适的,即要求组织在发现事件后尽快提交初步报告,但允许后续补充细节和调查结果。由于大语言模型系统较为复杂,初步报告可以及时通知政府相关主体,判断是否需要启动正式响应,同时为组织留出充分的调查时间。


强制报告通常要求向政府机构或其他集中化主体提交报告,且可能具有问责导向,因为报告可能引发监管行动。例如,Kesari发现,向州检察长强制报告网络安全事件的要求,使消费者身份盗窃投诉数量平均减少了10.1%,这可能是由于该要求对企业不安全行为起到了一定威慑作用。


强制报告通常适用于(高严重程度的)伤害事件(例如死亡或严重伤害案例):医院须向州级机构报告重大事件,航空公司须向联邦航空管理局报告特定事故和碰撞事件,医疗器械制造商须向食品药品监督管理局报告药物不良反应和设备故障。一项分析估计,食品药品监督管理局核心数据库MedWatch中,约90%的报告由器械制造商依据强制要求提交。因此,强制报告可以成为监管可见性的重要保障机制。


明确报告要求与门槛。事件报告系统通常需要制定清晰、范围明确的报告门槛和定义,才能在实践中真正发挥作用。理想情况下,报告门槛应能覆盖所有或大多数有助于安全学习的新隐患和事件,但门槛也不能设置过低,否则系统将被大量可能有用,也可能无用的报告所淹没。界定事件的方式包括:鼓励对任何可能的问题或事件进行报告、提供可报告事件类型清单,或依据特定事件结果、系统行为或程序违规建立报告门槛。哪种方式最适合人工智能事件报告目前尚无定论;文章在附录中提供了事件定义的若干示例,但仍需更多研究来推动人工智能事件定义与分类框架的可操作化。


报告门槛的模糊性,既会妨碍安全学习与问责机制的落实,也会给行业主体留下规避合规义务的空间。以美国国家公路交通安全管理局为例:由于其要求未能明确规定汽车制造商必须提交哪些安全缺陷相关文件,制造商便借机采取了各种推卸责任的手段。在调查过程中,他们或否认缺陷存在,或以含混误导的措辞回应信息请求,或声称被认定的问题与安全无关。而在其中一个案例中,该制造商事后却就国家公路交通安全管理局所认定的同一问题主动发布了自愿召回令,前后矛盾不言而喻。网络安全领域亦有类似情况。Kesari发现,当州法律将涉及加密数据的泄露事件豁免于网络安全通知要求时,企业便对那些“数据连同加密密钥一并被盗”的泄露事件选择沉默。而在弥补这一漏洞之后,相关州的数据泄露消费者投诉数量下降了13.1%。


图片

图片来源:CyberSapiens


未遂事件报告系统同样需要清晰的定义,并需收集足够的补充信息才能真正服务于学习目的,例如关于用户的信息,或用户与系统之间交互与通信的记录。


自愿报告系统。仅凭强制报告要求,可能不足以实现安全学习——因为高严重程度的伤害事件相对罕见,大量有价值的学习机会来自问题和未遂事件的相关信息,而此类信息往往并不集中。自愿系统可以弥补这一不足,允许公民、用户、第三方、企业和行业从业人员向集中化主体提交报告。已有评论人士建议,人工智能事件报告借鉴食品药品监督管理局,或更为普遍的联邦航空管理局的自愿报告模式。


本节其余部分将重点考察联邦航空管理局的自愿报告项目(主要是航空安全报告系统),这些项目通常被视为自愿报告系统的黄金标准。航空安全报告系统的成功得益于多重因素。首先,提交至航空安全报告系统(由美国国家航空航天局管理)的报告经过去识别化处理,且在若干例外情形之外,不得被联邦航空管理局用于监管执法行动;这些保障使航空安全报告系统不被视为惩罚性机制,同时也为报告行为提供了激励。此外,联邦航空管理局还有意在设计阶段就广泛征求利益相关方意见,以争取行业对航空安全报告系统的认可。


从最终效果来看,联邦航空管理局的系列项目有效推动了安全学习。自1975年成立以来,航空安全报告系统已累计收到超过200万份报告,定期就安全隐患形成反馈,并挖掘出其他渠道无法获取的独特信息。


然而,航空安全报告系统模式在其他领域的复制并未取得成功。受航空安全报告系统启发,联邦铁路管理局建立了“保密未遂事件报告系统”(Confidential Close Call Reporting System, C³RS),同样委托美国国家航空航天局管理。但该系统未能赢得行业认可:美国800家铁路公司中,仅有23家参与其中,部分公司甚至因认为该系统效果有限而退出。


图片

图片来源:保密未遂事件报告系统(C³RS)官网


联邦航空管理局的自愿报告系统是否适合作为人工智能事件报告的参考模式,目前尚不明朗。与铁路领域类似,争取人工智能开发者的认同可能同样困难重重。与航空领域不同,人工智能领域当前的竞争格局可能会抑制自愿信息共享。例如,开发者一直不愿公开其模型、训练数据及其他技术特征的相关信息,而这些信息可能对推动安全学习至关重要。此外,航空事件具有行业特定性,而通用人工智能系统造成的危害很可能跨越不同垂直领域,涉及的主体也远多于联邦航空管理局报告体系中的参与方,这使报告结构变得更加复杂。除航空安全报告系统外,联邦航空管理局的其他自愿项目(如航空安全行动计划)与工会合作运行,而工会在人工智能行业几乎不存在。最后,联邦航空管理局以通过自愿报告项目与行业建立高度协作关系而著称,但人工智能领域类似的关系可能引发监管俘获方面的担忧。


报告者的匿名性


匿名或保密报告。提交事件报告的主体是否应获得匿名保障或保密承诺,在很大程度上取决于报告方的身份,以及他们对报告后遭受报复的可能性的判断。匿名保障有助于消除个人对打击报复或声誉风险的顾虑,也有助于鼓励那些不在事件责任链条上的主体(如第三方)进行报告,或在独立数据库中发挥作用。另一方面,在实践中,当报告方为行业组织时,大多数强制性系统通常采用公开或保密的方式处理报告身份。


报告后的后续行动


推动报告后的安全学习。事件报告只是迈向安全学习与问责的第一步,而非终点。要切实提升安全水平,组织机构必须对事件进行调查、分类和分析,在此基础上制定并跟踪落实相应的安全干预措施。然而,这一完整的学习闭环在人工智能领域尚未成形。现有的人工智能事件数据库固然推动了学界对事件类型与分类框架的研究,也有助于把握整体风险格局、提升社会各界对人工智能风险的认知,但仅凭这些数据库还远远不够。要实现真正意义上的透明度、问责与深度分析,集中化的信息存储库不可或缺。与此同时,许多通用人工智能系统本身透明度不足,这在客观上也制约了安全学习研究的深入推进;而学界目前尚未就事件分类框架、调查方法以及评估与干预流程形成普遍共识。如何将报告后的学习机制真正适配并落地于通用人工智能的现实场景,仍有待更多研究的探索与推动。


事件报告系统之间的信息共享。事件报告提交之后,相关信息需要经过汇总和流转,传递至各方相关主体,才能真正推动安全改进与问责落实。要实现有效的信息共享,既需要准确识别应当接收信息的对象,也需要确保信息能够顺畅流通——而这有赖于系统之间的标准化与互操作性。


其他行业的经验表明,国家和国际层面的事件报告系统,通常更关注那些预示更大风险、可能升级为紧急状态或危机的严重事件,以及能够在系统或行业层面提供学习价值的事件。地方性或行业特定系统则更适合处理范围有限、难以推广的事件;而面向行业组织的用户报告系统或第三方报告系统,可以考虑设置较低的报告门槛,以便将低严重程度事件也纳入学习素材的范畴。


系统间的标准化与互操作性同样不可忽视。美国网络安全事件报告体系提供了一个反面教材:22个联邦机构建立了至少45套有时相互重叠的报告要求,这种碎片化局面使数据汇总极为困难,也严重阻碍了经验的积累与学习。当然,推动系统整合也需要把握好度——如果报告填写流程过于繁琐,同样会打击报告的积极性。此外,报告标准还需审慎处理隐私问题:既要为信息汇总提供空间,确保相关主体能够获取所需信息,又要防范身份泄露和打击报复的风险。目前已有一些初步努力,尝试为通用人工智能事件文档建立统一标准,但如何推动行业层面的实际采纳,仍是一大挑战。


法律责任与监管框架。法律不确定性和对责任追究的顾虑,是个人和企业拒绝报告的最常见理由。希望推动通用人工智能领域事件报告的政策制定者,可以考虑事先明确报告相关的法律框架,设定清晰的报告激励机制,并将相关指引传达给各方报告主体。需要重点考量的问题包括:报告行为附带何种法律责任、事件报告是否可在诉讼中被强制调取、报告要求的范围边界是否足够清晰、安保与安全事件交织时应适用哪些标准,以及反垄断法与安全信息共享之间如何协调。此外,哪些主体有权访问事件数据,历来是争议不断的核心问题;确定信息共享范围,需要在法律与竞争层面的顾虑和报告接收方对可见性与问责的诉求之间寻求平衡。


值得一提的是,不同系统中有一些常见的法律激励手段可供参考。在强制报告机制中,对未能提交报告的主体施以处罚往往能起到一定效果。在自愿报告机制中,为报告者提供有限的责任保护则较为普遍,同样有助于激励报告行为——一项针对医疗服务提供者的调查显示,72%的医生表示,如果报告受到法律调取程序的保护,他们将更愿意提交事件报告。


最后,允许企业规避报告或信息披露义务的法律漏洞,是事件报告机制的一大隐患。一些产品制造商曾通过申请宽泛的保护令或签订保密和解协议,来规避公开披露产品缺陷和安全问题的义务。也有企业出于对报告或文档日后被诉讼援引的顾虑,有意减少留存记录,从而使事件报告要求流于形式。人工智能事件报告制度的设计者,应对上述问题保持高度警惕。


图片

图片来源:卫报

05

局限性

文章的研究范围存在一定局限。首先,文章并未对事件报告系统在通用人工智能背景下是否具有必要性进行完整的成本收益分析——学习或问责等政策目标,或许可以通过其他治理手段更有效地实现。其次,文章的案例研究以美国为中心,部分经验未必能够轻易移植至其他法域。此外,人工智能安保事件可能需要与安全和权利事件不同的处理流程和框架,而后者才是文章的主要关注所在。


文章的范围也仅限于人工智能事件报告系统的制度设计,不涉及事件报告系统在实施层面的诸多细节,例如文档记录规范或安全文化建设。

06

结论

事件报告系统有助于构建更安全的人工智能生态系统,并促使相关组织为人工智能造成的危害承担责任。事件报告系统的成效,根植于其背后的制度结构。文章首次就通用人工智能背景下事件报告系统的制度设计进行了系统性考察——通过对九个安全关键行业的案例分析,为通用人工智能事件报告系统提供了制度设计层面的参考,并就不同设计选择在何种情形下更为适当展开了讨论。在通用人工智能正加速渗透经济各领域的当下,希望文章能够为有意建立事件报告机制的美国各方利益相关者提供有益参考。




原文链接




https://www.rand.org/pubs/external_publications/EP71295.html