全球AI创新治理|无国界风险:AI恶意使用与欧盟《人工智能法案》的全球影响力

作者:陈韵仪 发布时间:2026-04-08 来源:全球人工智能创新治理中心+收藏本文


编者按


从全球治理的宏观视角来看,当前全球人工智能领域的竞争已陷入“重技术优势、轻风险管控”的失衡格局。中美欧等世界主要经济体纷纷将国家发展战略的重心投向AI产业布局与技术主导权的争夺,却忽略了人工智能安全与风险管理。在这一宏观背景下,欧盟出台的《人工智能法案》(AI Act)显得尤为特殊。作为全球首部具备法律约束力的AI专项监管规则,《人工智能法案》自立法之初就被寄予成为全球AI治理范本的厚望,欧盟也试图凭借市场规模与监管先发优势,推动这套规则成为全球通用准则。然而,业界与学界对该法案的讨论始终集中在“监管是否过度”“是否抑制产业创新”“落地执行有何障碍”等议题,极少审视其对AI恶意使用这类灾难性风险的监管覆盖能力。


西班牙智库埃尔卡诺皇家研究所(Elcano Royal Institute)近期发布的报告《无国界风险:AI恶意使用与欧盟<人工智能法案>的全球影响力》聚焦AI恶意使用引发的各类风险对《人工智能法案》开展了全面的监管压力测试。结果显示,法案条款对AI恶意使用风险的覆盖度存在显著失衡:大量高危害性风险或是未被直接纳入监管,或是仅能依靠欧盟其他法规间接监管。作者认为,这种规则设计不仅在欧盟内部留下了巨大的监管漏洞,更削弱了该法案作为全球AI治理范本的价值。作者建议,欧盟应借助法案设定的定期修订机制,填补对AI恶意使用风险的监管空白,同时秉持开放学习、平等互鉴的原则,开展国际AI治理合作与对话。


图片

位于布鲁塞尔的欧盟委员会总部

图片来源:报告原文


作者


保拉・奥利弗・略伦特(Paula Oliver Llorente)现任埃尔卡诺皇家研究所(Elcano Royal Institute)欧洲政策方向研究助理,曾任职于欧盟委员会,担任政策助理。

01

竞争压力下的AI安全治理困境


在当前的全球地缘政治格局中,各国政府与科技企业围绕人工智能主导权的竞争,核心始终聚焦在技术领先地位与核心能力突破上,而非AI安全与风险管理。全球主要地缘政治参与者的相关政策、投资布局与科研突破都印证了这一趋势:全球AI竞赛的白热化,正让AI安全治理不断被边缘化。


中美欧的AI发展差异化布局


以美国为例,其2025年夏季发布的《美国人工智能行动计划》,核心目标是让美国的AI技术成为全球标准,确保盟友体系对美国技术的依赖。为实现这一目标,美国采取了近乎放任的监管策略,包括撤销拜登政府时期发布的关于安全、负责任使用AI的行政命令,同时试图阻止各州出台本土AI监管规则。这套策略让私营部门获得了极大的政策利好,全球多数头部AI企业均汇聚于此;2024年,美国私人领域的AI投资规模接近1100亿美元,是欧洲同期投资总额的五倍以上。


图片

全球AI风险投资规模

图片来源:Yahoo Finance


中国同样制定了2030年实现全球AI领先地区的发展目标,重点突破AI基础理论、核心技术与场景应用,通过统筹协同的产业政策,打造能源、人才、数据、算法、硬件、应用全链条产业生态,将AI定位为解决经济、社会和安全挑战的核心工具。高盛预测,2026年中国AI服务商在数据中心领域的投入将达到700亿美元,同时国家还将为本土半导体产能建设、共享算力基础设施落地,提供大规模政策与资金支持。


欧盟也清晰认识到了这一激烈的竞争格局,在2025年4月发布了《人工智能大陆行动计划》,旨在统筹算力基础设施、数据资源、专业人才、算法研发与监管规则的全链条发展。同时,欧盟已宣布建设19个AI工厂、13个AI工厂分支站点,还联合欧洲投资银行推进5个AI超级工厂的落地。2026年初,欧盟审议通过《云计算与AI发展法案》以提升区域云算力能力,同时通过《数字综合法案》削减了AI法案中的部分监管条款。


《人工智能法案》的治理探索


在AI领域竞争白热化、技术高速迭代的背景下,AI安全与风险管理的相关努力与担忧极易被忽视。许多以安全为导向的国际倡议尽管与AI推广工作同时推进,却鲜少获得足够的关注。然而,极端竞争带来的压力使得AI监管框架的作用比以往任何时候都更加关键,它们是在AI能力高速迭代和快速部署过程中防止灾难性风险实质化的重要防线。


欧盟《人工智能法案》正是在这一背景下应运而生,成为全球首批具有法律约束力的AI专项法规之一。与其他国家和国际组织发布的内容宽泛、无强制力、缺乏配套执行与监督机制的安全原则不同,《人工智能法案》的规则体系极具针对性:它并非针对技术本身设限,而是根据AI具体应用场景的预期风险等级实施分级监管。因此,欧盟政策制定者期望凭借其先行者优势和庞大的市场规模,使该法案成为全球AI治理的范本。


图片

欧盟《人工智能法案》

图片来源:Culture Action Europe


然而,《人工智能法案》想要成为AI风险管理的全球范本,监管质量是先决条件。只有当法案能充分应对AI系统带来的最严峻、最具破坏性的风险,全球政策制定者才会真正将其视作参考范本。基于此,本报告聚焦于AI恶意使用带来的相关风险(即行为主体故意利用AI实施危害行为的相关风险),这类风险是AI安全领域公认的最可能引发灾难性后果的风险路径之一。

02

AI风险框架的核心分歧:AI法案与恶意使用风险


《人工智能法案》的核心监管逻辑是:根据AI系统应用场景的潜在风险强度,为AI系统的提供者与部署者设定差异化的监管义务。这套风险分级逻辑有利于快速立法与落地执行,却难以全面覆盖AI领域最关键的灾难性风险——无国界的恶意使用风险。


根据法案文本,AI系统被划分为四大风险等级:第一类是使用会带来不可接受风险的AI系统,直接全面禁止;第二类是高风险应用场景的AI系统,需遵守透明度、网络安全、风险管理等一系列强制义务;第三类是因系统不透明带来风险的AI应用,需满足对应的透明度要求;第四类则是无风险系统。除此之外,法案还对通用人工智能模型做出了专门规定,为模型提供者设定了更全面的透明度义务;对于具备系统性风险的通用人工智能模型,法案还追加了更严格的风险管理与网络安全义务。上述以风险强度为核心分类标准的分级体系,虽适配欧盟内部的立法与执法需求,却无法适用于恶意使用这类跨场景、高灾难性风险的全面评估与管控。


图片

欧盟《人工智能法案》中的风险分级体系

图片来源:Nemko


报告将AI恶意使用风险定义为:行为主体以造成危害为主观故意,利用AI系统损害个人、群体或社会安全的各类行为。其核心界定标准有两个:一是主观上存在造成危害的故意,这使其与AI的意外误用、技术非预期后果形成本质区别;二是将AI系统的能力本身武器化,而非利用AI系统的安全漏洞实施攻击,这使其与AI系统的恶意滥用划清了边界。


为了全面评估《人工智能法案》的监管覆盖情况,报告将AI恶意使用风险划分为九大类子风险,具体包括:生物武器与化学威胁、具备破坏性目标的自主系统、虚假信息传播、内容侵权与滥用、欺诈与诈骗、网络攻击、自主武器与军事应用、权力与技术垄断、国家监控与压迫。能否全面覆盖这些恶意使用风险,是任何一项监管规则能否形成全球影响力的核心前提,本研究也正是基于这一框架,对《人工智能法案》开展压力测试。

03

法案对恶意使用风险的覆盖存在不均衡性


基于九大类恶意使用子风险的分类体系,报告对法案条款进行了全面测试。结果显示,法案对恶意使用风险的覆盖呈现出极度不均衡的状态:四类子风险几乎没有任何直接监管,仅存在部分或间接监管,仅有一类子风险受到法案的全面禁止规定。这种不均衡覆盖不仅削弱了法案内部的监管逻辑一致性,更减少了其作为全球监管范本的潜力。整体来看,法案的监管覆盖呈现出“重民事权益、轻灾难性安全风险”“重欧盟内部高频风险、轻全球跨境恶意使用风险”的特征。对于欧盟内部政治关注度高、社会争议大的国家监控类风险,法案设置了全面的监管规则,但对于可能引发全球性灾难性后果的各类风险,要么完全排除在监管范围之外,要么仅设置了模糊的通用条款,几乎不具备实际约束力。


图片

AI恶意使用风险的九大类子风险及法案相应的覆盖内容

图片来源:报告原文


无直接监管覆盖的四类高风险


生物武器与化学威胁、具备破坏性目标的自主系统、自主武器与军事应用、权力与技术垄断这四类子风险,在《人工智能法案》中未获得任何直接的监管覆盖,仅部分内容与通用人工智能模型的系统性风险条款存在偶然重合,绝大部分内容完全处于法案的监管范围之外。


首先是生物武器与化学威胁风险。法案仅针对具备系统性风险的通用人工智能模型,设置了通用的风险管理与事件上报义务,并未针对在生化武器研发中的恶意使用,制定任何专门的监管规则。


其次是具备破坏性目标的自主系统风险,这类风险同样面临监管真空。尽管通用人工智能模型完全可能被用于开发具备有害目标的自主AI智能体,但法案仅能通过具备系统性风险的通用模型的风险管理义务,以及针对高风险AI系统的人工监督义务相关条款,对其进行有限约束。


第三是自主武器与军事应用风险,这类风险被法案明确排除在监管范围之外。原因在于,国防与国家安全政策属于欧盟成员国的主权管辖范畴,仅有同时具备军用与民用场景的两用AI系统,才会受到法案的约束。


最后是权力与技术垄断风险,这类风险也被法案严重忽视。尽管法案通过限制预测性警务,对政府滥用巩固权力的行为作出了部分约束,却完全未涉及企业的权力集中与垄断问题。数据与算力是大模型研发与应用的核心基础,而大型科技企业凭借海量数据构筑竞争优势、云服务商凭借算力基础设施形成垄断格局等恶意行为,均无法通过法案得到约束。


仅部分或间接覆盖的四类风险


虚假信息传播、内容侵权与滥用、欺诈诈骗、网络攻击这四类子风险则在法案中仅得到部分或间接监管。法案虽设置了相关义务,但未能覆盖风险的全部维度与来源,大多需要依赖其他配套法规完成风险管控。


首先是虚假信息传播相关风险。法案禁止利用AI操纵性、欺骗性技术扭曲他人行为,同时要求AI生成内容必须进行标识,明确其人机生成的属性。但这些义务并未禁止利用AI聊天机器人等工具实施的个性化说服行为,这一核心监管空白,只能依靠《数字服务法案》进行部分填补。


其次是内容侵权与滥用相关风险。法案仅通过“禁止利用他人认知漏洞实施行为干预”的相关条款,对敲诈勒索等行为作出了间接回应;而对于非自愿私密影像、AI生成儿童性虐待材料这类最严重的侵权滥用内容,法案完全未作出针对性规定。在技术层面可轻易规避内容标识要求的情况下,法案的相关条款几乎无法为受害者提供有效保护。


第三是欺诈与诈骗相关风险。这类风险同样未被法案纳入明确监管范畴,仅能依靠透明度与信息披露相关要求,间接降低仿冒、钓鱼等行为的成功率,却无法从源头禁止这类恶意使用行为。


最后是网络攻击相关风险。这类风险主要依靠欧盟此前出台的针对网络攻击行为的刑事立法进行规制,法案的相关条款更多聚焦于防范针对AI系统的恶意攻击、保障高风险AI系统的安全,而非规制利用AI实施网络攻击的恶意使用行为。


实现全面监管覆盖的风险类型


在九大类恶意使用子风险中,仅有国家监控与压迫这一类风险得到了法案全面、直接的监管覆盖。法案明确禁止了利用AI实施社会评分、预测性警务、特定类型的生物识别与生物分类等行为,从源头对政府利用AI实施大规模监控、少数群体压迫、异议压制的恶意使用行为进行监管。而这类风险能够得到全面覆盖的主要原因是其在欧盟的立法辩论中具备极高的政治关注度:一方面,这类风险与欧盟民众的日常生活关联度更高、社会公众的感知度更强;另一方面,部分国家利用AI实施威权监控的案例,为欧盟立法提供了明确参照,也让政策制定者对这类风险形成了更为统一的认知。


但也正是这种“政治关注度决定监管覆盖强度”的立法逻辑,直接导致法案忽视了其他高灾难性、低政治曝光度的恶意使用风险。这种失衡的监管设计,使得法案在应对AI恶意使用风险时,呈现出“重民事权利、轻国家安全”“重内部风险、轻全球跨境风险”的明显偏向。这不仅无法形成全面的恶意使用风险管控体系,更难以适配全球各国对AI灾难性风险的监管需求,从根本上削弱了其作为全球治理范本的适用性。


图片

人工智能监控系统

图片来源:ACLU

04

AI法案的底层设计导致了其对恶意使用风险的覆盖能力不足


《人工智能法案》对恶意使用风险的覆盖失衡并非立法疏漏,而是源于法案的底层设计逻辑,甚至可以说是立法者的有意为之。其设计初衷是在欧盟既有的法律体系内,针对AI技术带来的新风险进行补充规制,避免与现有法律法规形成监管重叠,因此法案仅聚焦于此前立法未覆盖的AI相关风险。比如生化武器研发、诈骗、网络攻击等行为,在AI技术出现之前就已被欧盟与成员国法律纳入刑事犯罪范畴,因此立法者认为,AI赋能的同类犯罪行为不应与传统犯罪区别对待,也无需在AI法案中重复规制,否则会造成监管冗余与过度合规负担。这种设计带来的直接结果,就是绝大多数恶意使用子风险,都需要依靠欧盟其他专项法律进行补充规制。


从欧盟内部法律体系来看,这种设计完全合理,能够有效避免过度监管,简化企业的合规义务。但这种设计的问题在于,只有当恶意行为者被后续刑事法律追责时,才会受到惩处,而法案无法在事前形成有效的风险预防与威慑。尤其是技术大幅降低了恶意行为的实施门槛、提升了实施效率,事后刑事追责的威慑力被严重削弱。


除了这种刻意的设计选择导致法案的风险覆盖碎片化,法案在基本范畴的界定上也存在漏洞,尤其是对“个人使用”的界定以及对“可预期的滥用”的模糊定义法案将AI的个人、非专业使用置于监管的灰色地带,完全依赖上游的开发者和提供商来限制下游的恶意风险。这意味着,那些躲在暗处的恶意个人用户,除非在事后被刑事法律制裁,否则轻易就能逃脱监管。此外,法案要求高风险系统和通用大模型基于“可预期的滥用”来履行风险管理义务,但这一表述存在很大解释空间,在实际执行中易引发争议,不仅削弱了其监管的确定性,更可能成为企业规避责任的手段。正如OpenAI在法庭抗辩中提出,用户利用ChatGPT实施自残的行为,属于产品的误用、未经授权使用、非预期使用、不可预见使用,因此企业无需为此承担责任。


图片

OpenAI否认ChatGPT应为一名青少年自杀负责

图片来源:NBC NEWS


从全球影响力的角度来看,这些根植于欧盟本土法律生态的设计具有一个致命问题:绝大多数国家不会、也没有能力完整引入欧盟的全套数字治理法律体系,若其他国家直接复制法案,必然会留下大量的恶意使用风险监管空白。此外,近期发生的多起与AI相关的自杀、谋杀案件已经证明,仅靠标识AI身份、告知用户使用条款,根本无法有效化解AI个性化说服带来的相关风险,法案的保护措施在这些领域显得软弱无力。

05

结论与政策建议


欧盟《人工智能法案》在过去几年中获得了全球范围的广泛关注,作为全球首个针对AI的综合性监管立法,其制度创新与先发优势,让欧盟政策制定者坚信,这套监管模式将成为全球AI治理的通用规范。法案正式生效落地后,全球范围内的相关讨论,大多聚焦于其是否存在过度监管、是否会抑制产业创新、落地执行存在哪些障碍等议题,却极少关注法案的风险覆盖是否充分、能否有效保护社会免受AI恶意使用的危害,本研究正是填补了这一研究空白。


研究分析表明,法案对AI恶意使用风险的覆盖存在严重的不均衡性,关键灾难性风险基本处于未被监管的状态,多数恶意使用风险依然需要依赖行业专项法规与横向立法进行兜底。这种风险覆盖的失衡,直接对法案的全球影响力产生了负面影响。其核心问题在于,立法者忽视了AI技术对恶意行为成本收益逻辑的根本性改变:AI大幅降低了恶意行为的实施门槛,放大了实施动机,削弱了事后追责的威慑力;而依赖现有国内与行业法规、将个人使用排除在监管之外、核心条款定义模糊的设计,给恶意行为者留下了充足的操作空间。


基于上述研究发现,报告为希望推动法案实现全球推广的欧盟政策制定者,提出了互补的三项政策建议。第一,政策制定者应引入其他风险概念化模型,以多元视角审视法案、排查漏洞,从而为立法修订提供理论支撑。第二,政策制定者应充分利用法案第 112 条规定的定期修订机制,快速填补当前未被重视的监管空白。第三,欧盟在国际交流中应秉持真诚务实的态度,向各国合作方坦诚承认当前版本法案存在的监管漏洞。


目前令人担忧的信号是,欧盟委员会2025年11月提出的《数字综合法案》,一方面推迟了针对恶意使用风险的保障措施落地时间,另一方面也收窄了监管覆盖范围,不仅豁免了部分高风险AI系统的注册义务,还放宽了模型训练数据的使用限制,这可能进一步放大AI恶意使用风险。


图片

欧盟委员会于2025年11月19日发布了数字综合方案(Digital Omnibus package),该提案是多项简化综合方案中的最新一项。

图片来源:Euobserver


总而言之,《人工智能法案》是全球AI治理进程中的重要一步,但其覆盖范围与全球影响力,不仅会在落地执行阶段遭遇障碍,更会受到其自身设计缺陷的制约。欧盟政策制定者、AI服务商与AI风险研究领域,都应当认识到法案在风险覆盖上的重要局限。唯有以开放的态度与全球各国开展对话,在交流中完善自身的监管体系,才是欧盟引领全球AI治理的正确路径。




原文链接




https://www.realinstitutoelcano.org/en/analyses/risk-without-borders-the-malicious-use-of-ai-and-the-eu-ai-acts-global-reach/