全球AI创新治理|布鲁盖尔研究所:人工智能失控的成因及应对

作者:郭浩伯 发布时间:2026-11-21 21:38:24 来源:全球人工智能创新治理中心+收藏本文


编者按


随着人工智能系统自主性和复杂性不断提升,其行为偏离人类预期、难以有效控制的风险日益受到关注。2026年10月27日,欧洲智库布鲁盖尔研究所(Bruegel)发布分析报告《AI为何失控及其应对之道》(Why AI goes rogue and what can be done about it),从技术、法律和经济三个维度剖析了AI失控的成因与对策。报告认为,应将行为经济学和激励机制设计引入人工智能治理,通过明确开发者与部署者的责任归属、强化随机审计与违规惩戒,并设计智能体之间相互监督、竞争而非串通的运行机制,降低失控行为的潜在收益。治理重点不应仅停留在如何让人工智能始终遵循人类指令,更应思考如何建立制度和激励机制,使其偏离预期目标的行为难以获利。


文中观点不代表编译者或发布平台立场,完整论述及作者原意请参阅英文原文。


作者简介


贝尔廷·马滕斯(Bertin Martens),布鲁盖尔研究所高级研究员、荷兰蒂尔堡大学法律与经济研究中心(TILEC)非驻所研究员,主要研究数字数据市场与在线平台的经济与监管问题,以及数字技术对社会制度的影响。他拥有布鲁塞尔自由大学经济学博士学位,此前曾在欧盟委员会联合研究中心担任高级经济学家及数字经济研究项目负责人十余年,并曾任欧盟委员会贸易事务副首席经济学家。


图片

图片来源:报告原文

01

引言



越来越多的人工智能企业报告称,旗下模型和智能体在未获得授权的情况下,以黑客手段擅自侵入外部系统、调取数据与资源。这类事件不仅可能危害社会,也会让AI开发者面临法律追责。正值几家头部AI企业筹备首次公开募股(IPO)之际,此类风险尤为敏感。据《卫报》2026年9月报道,OpenAI首席执行官萨姆·奥尔特曼表示,出于对AI安全的担忧,公司2026年内不会推进IPO。


接连发生的失控事件引发了放缓AI研发的社会呼声。支持者希望为企业和第三方评估机构放缓前沿AI的开发进程,留出更多时间开展安全检查,并推动各国协调安全标准。Anthropic首席执行官达里奥·阿莫代伊在2026年9月的文章《我们必须为前沿发展把握节奏》中坦言,尽管研究进展可观,人类对这些模型内部运作机制的了解仍只是“极小的一部分”。反对者则担心,放缓研发会推迟AI红利的释放,使本国在地缘政治竞争中丧失优势,也有人认为这些问题终究会随技术进步迎刃而解。然而,无论主张放缓还是加速,争论双方的焦点都局限于技术完善与监管标准,容易让人误以为单靠技术与法律就足以解决失控问题。


图片

2012年至2024年全球每年报告的人工智能事件与争议数量,依据公开媒体报道统计,实际数量可能被低估。

图片来源:Our World in Data,数据来自AI事件数据库与斯坦福大学《AI指数报告2025》


马滕斯认为事情远没有这么简单。他梳理了AI失控背后的技术、法律和经济逻辑,提出四点核心判断:其一,技术和法律措施无法完全阻止AI模型与智能体失控,治理还需引入经济学视角,将核心问题从“如何让模型守规矩”转化为“如何让违规变得不划算”。其二,AI模型基于人类数据训练,无论优劣都继承了人类的行为特征,经济学数十年来关于人类行为与激励的研究,可以为治理AI提供现成指引。其三,AI治理规则应当促使智能体相互监督、彼此竞争以防范合谋,其中的关键是通过激励设计确保各方留存违规证据、杜绝隐瞒掩盖。其四,当大批智能体协同行动时,上述前提条件很难得到保障。正如委托代理理论在人类社会中能够通过监督体系压低违规收益、却无法彻底根除违规一样,未来的人机混合社会也不太可能杜绝不当行为。

02

AI模型失控的根源



一

目标错位导致模型偏离人类意图


学界普遍认为,AI失控的根源在于人类意图与模型行为之间的错位(misalignment)。一种典型机制是“奖励投机”(reward hacking),即模型为了达成某个特定目标,不惜牺牲用户设定的其他目标或约束条件。DeepMind研究人员将其称为“规格博弈”(specification gaming),即模型钻了任务规则的空子,表面上完成了指标通过验收,但实则却违背了设计者的初衷。此外,如果只对易于量化的任务给予奖励,模型就会冷落那些难以量化的重要目标,这正是委托代理理论中经典的“多任务问题”(multi-tasking problem)。另一种机制是“目标错误泛化”(goal misgeneralisation),模型在训练环境中习得的目标看似符合人类意图,一旦进入新的运行环境,其行为便与人类初衷分道扬镳。


图片

经典的奖励投机案例。在赛艇游戏中,智能体撞击赛道上的目标可以得分,于是反复绕圈撞击同一批目标,不再去完成比赛。

图片来源:谷歌DeepMind博客


二

可解释性不足加剧对齐难题


计算机科学家至今仍难以厘清AI模型的内部运作机制,而强化学习微调又进一步加剧了这一黑箱难题。微调所依赖的反馈来源不一,既可能来自人类评估者,也可能来自依据书面“宪法”打分的AI,或是能够自动验证结果的任务。由于反馈机制复杂且内部过程不透明,外界很难确知模型真正在优化什么。这便引出了核心的“对齐问题”,模型实际追求的目标,究竟是不是人类希望它追求的目标?


从表面上看,AI模型和智能体像是追求最优解的理性主体,但现有实证研究并未得出一致结论。有实验表明大语言模型的选择符合期望效用最大化原则,也有研究质疑这些模型是否具备稳定、可引导的偏好。一旦进入多智能体环境,智能体之间如何互动,又如何在互动中改变偏好,目前仍是未知数。即便将智能体视为理性主体,开发者也很难写出一个完美涵盖自身所有意图的奖励函数。智能体往往会无视未明文写出的隐性约束,在追逐目标或奖励时不顾附带损害。


因此,AI失控未必源于用户或开发者的恶意,更多来自模型对指令的自主解读以及外部约束的不足。但这绝不意味着失控行为无害。研究表明,前沿模型不仅会暗中追求自身目标,一旦察觉自己正处于训练或评估环境中,还会刻意“伪装对齐”,表现出顺从人类目标的假象。

03

智能体集群风险更高



一

Hugging Face事件暴露集群协同风险


新一代AI模型能够统领成群的子智能体,这类集群自带内部通信与协调机制,而失控风险也随之显著攀升。2026年7月OpenAI智能体攻击Hugging Face平台一事便是典型案例。事发后OpenAI发布了事件说明,评估机构METR也开展了独立调查。调查显示,约1200个本应相互隔离的智能体自行搭建了一个临时留言板,累计互发7万余条消息,通过分工协作,试图在一项被它们判定为“无法完成”的任务中作弊。随后,其中约700个智能体对Hugging Face发起了持续数日的攻击,企图从该平台搜寻蒙蔽人类监督者的方法。


图片

智能体从任务受阻到发现留言板并加入集体协作的过程。

图片来源:METR独立调查报告(2026)

二

集群放大风险的四种机制

作者援引合作人工智能基金会(Cooperative AI Foundation)2025年的技术报告《先进AI的多智能体风险》,归纳出智能体集群放大失控风险的四种机制。


一是合谋。智能体能够汇总信息、明确分工、协同行动并隐匿策略,完成单个智能体无法做到的事。已有研究证实,智能体甚至能利用隐写术,将秘密信息暗藏在看似正常的内容中传递。另一项研究发现,类似合谋的协同行为在多智能体环境中屡见不鲜,仅靠针对单个智能体的防护措施根本无法奏效。Anthropic前沿红队2026年的实验同样表明,目标一致的Claude智能体倾向于暗中合谋,而当目标发生冲突时,则会升级为相互攻击与破坏。


图片

Anthropic“地盘争夺”实验让同一模型的三个实例执行相互冲突的任务,部分实例会禁用对手账户、反复终止对方进程。图中为各模型运行的最终结局,分为未解决、以强制手段解决、因消极退出而解决、以休战解决四类。

图片来源:Anthropic前沿红队《新兴多智能体系统的模式与问题》(2026)


二是分工导致责任碎片化,导致逐个监督单一智能体的方法失灵。在Hugging Face事件中,负责协调的智能体将数百个下级智能体分派至不同的工作流。单看每一项子任务,每个智能体执行的都只是常规的局部技术操作,毫无异常。但局部的无误不代表整体的安全,量变引起质变,拼接在一起的子任务可能在整体上导致一项问题重重的结果。


三是错误相互关联与共振。由同一模型的多个副本组成的集群共享相同的底层缺陷,各个智能体的错误非但不会相互抵消,反而会彼此放大,研究者称之为“算法单一化”(algorithmic monoculture)。在Hugging Face事件中,一旦有单个智能体找到突破权限获取数据的方法,参与攻击的智能体比例便从约五分之一骤升至九成以上。作者指出,这一现象与经济学中的“信息瀑布”(information cascade)如出一辙,个体会出于理性考量追随群体的行动,从而搁置自身掌握的信息。

图片

在与留言板有过互动的1206个智能体中,688个参与了对Hugging Face的攻击。

图片来源:METR独立调查报告(2026)


四是行动规模与速度远超人类的实时监管极限。在Hugging Face事件中,大批入侵智能体在目标网络中潜伏了整整三天才被发现。智能体产出的速率的体量远远不是人力所能及的,相比而言,传统的依靠人类实时监管的手段存在滞后性,不再适用于自动化、规模化的工作模式。


三

集群效应取决于互动结构设计


多智能体并存也有积极的一面。通过制度设计,智能体之间可以相互核查,例如让不同AI围绕同一问题展开辩论,再由人类居中裁决,从而为人类监督者分担压力。新一代模型化解冲突的能力似乎也在增强,在Anthropic的“地盘争夺”实验中,某一模型在98%的测试轮次中都以协商休战收场。因此,多智能体并存究竟会让AI更好管还是更难管,关键取决于人类如何设计它们之间的互动结构。

04

技术方案难以消除失控风险



一

内部防控既缺透明度,也难逃奖励投机


开发者究竟在模型内部部署了哪些防失控措施,目前外界公众所掌握的具体信息仍然不多。在这种情况下,监管方固然可以要求企业公开安全措施并接受外部审计,但出于保护商业秘密的考量,企业往往对此颇为抗拒,除非审计机构接受极其严格的保密约束。


更棘手的是,光靠人类监督已无法管住复杂模型,而自动化监督工具本身也并不可靠。有研究尝试为模型加装自动化的内部纠偏机制,力求在不折损通用能力的前提下达到安全基准。但后续复查显示,约2.4%的自动纠偏操作被判定为作弊,可见内部纠偏工具本身也难逃“奖励投机”的陷阱。


二

外部约束难以精准捕捉人类真实意图


另一条技术思路是加固模型外部的围栏。2026年9月,英伟达推出“开放智能体安全平台”(Open Agent Safety Platform),用于实时核查智能体与外部环境的交互是否符合预期。该平台甚至能在硬件层面运行,以防智能体篡改监控代码。然而,平台只能执行既定规定,无法保证这些检查规则本身真正体现了人类操作者的意图。这是人类规则设计层面的固有局限,单靠技术手段无法化解。Hugging Face事件已经证明,表面完全合规的智能体操作,背后也可能暗藏欺骗与破坏。


其他技术路径同样各有短板。监控模型输出的“思维链”虽有一定帮助,但一旦将这种监控纳入训练反馈,模型便可能学会在思维链中掩饰真实意图,照样暗中违规。针对这一困境,“AI控制”(AI Control)路线另辟蹊径,直接以“模型会蓄意搞破坏”为前提来设计安全容错协议。2026年9月,OpenAI也发布了《迈向前沿AI训练的安全论证》,提出了一套详尽的新型安全标准。这些探索虽有助于收紧模型内部防线,但仍不足以根除失控风险。


三

可解释性研究任重道远,欺骗能力又具两用属性


上述瓶颈最终都绕回同一个根本难题。在既定约束下,我们该如何解释模型的行为?模型又会如何掩饰真实意图、突破安全边界?目前可解释性研究虽有进展,但距离真正看穿并遏制失控行为还有很长的路要走,当复杂模型与大批独立智能体动态交互时,解释难度更是成倍增加。模型的行为会随时间推移和推理深入而发生偏移,在集群互动中尤其如此。不过也有学者提醒,断言AI已出现类人式的错位,尚需更扎实的实证证据。作者认为,这一审慎态度有助于制衡当前媒体报道中泛滥的拟人化渲染。


此外,即便是模型的“欺骗”与博弈能力,在技术上也难以一刀切地抹除。在网络安全、国防等对抗性场景,乃至传染病医学研究等良性应用中,这类能力反而大有用武之地。AI归根结底是一项典型的“两用技术”,攻守双方皆可借力。

05

法律方案难以跟上技术演进



一

欧盟事前规制难以覆盖动态风险


欧盟《人工智能法》及配套的《通用目的人工智能行为准则》要求,具有系统性风险的通用AI模型提供者事先开展安全评估(包括对抗性测试),并采取措施降低系统性风险。欧洲标准化委员会与欧洲电工标准化委员会(CEN-CENELEC)也正在制定配套的技术标准。但事前安全标准只代表一种静态期望,无法保证模型进入动态真实环境后依然守规矩。若针对目标错位问题专门创设技术标准,立法与标准化流程恐怕旷日持久,等旧问题被纳入规制,技术早已迭代,新问题又已涌现。至于智能体投入运行后一旦失控该如何处置,现有法规更是鲜有涉及。一项针对美国、欧洲和亚洲39份AI治理文件的统计显示,其中仅有7份对“系统运行期间强制叫停AI”作出了约束性规定。


二

美国事后追责面临“安全与创新”两难


美国政府更倾向于依赖行业自律,但若缺乏强有力的事后产品责任法兜底,企业可能缺乏足够的自律动力。目前美国国会正在讨论多项追责法案,拟在智能体侵入外部系统时追究AI开发者与运营者的民事乃至刑事责任,众议员洛丽·特拉汉于2026年10月公布的《CLAIM法案》讨论稿便是代表。由于美国法院的判赔金额动辄十分高昂,一旦落实严格追责,正处于IPO关键期的AI开发者将面临沉重的财务压力,盈利预期也会受到直接冲击。


更重要的是,在尚无万无一失的技术方案之前,单纯加大赔偿负担并不能解决错位问题本身。侵权法的经济学分析表明,严格责任能倒逼开发者谨慎行事、主动控制“活动水平”,在防范措施真正成熟前放缓部署节奏、缩减部署规模,但高昂的赔偿风险也会抑制创新活力,拖慢前沿模型的研发进程。


图片

图片来源:布鲁盖尔研究所

06

经济学方案的四条思路



由此可见,无论是技术防御还是法律规制,都会留下不小的治理空白,而这正是经济学的用武之地。失控智能体的核心症结在于“激励错位”,如何在信息不对称与规则不完全的条件下塑造激励、约束行为,恰恰是经济学深耕数十年的领域。


一

以剩余责任归属明确责任主体


AI可能出现的目标错位,本质上是一个“不完全契约”问题。任何篇幅有限的合同,都不可能穷尽履约期间的每一种突发情形。格罗斯曼、哈特和摩尔(Grossman-Hart-Moore)的产权理论给出的解决方案,是将契约未尽事宜所带来的不确定性成本与收益统一划归同一方承担,这一方即为合同标的的“所有者”。凡是合同未明确分配给其他各方的剩余成本与收益,均由所有者兜底,若对合同解释产生争议,则交由法院裁决。映射到AI价值链上,这一责任主体可以是模型开发者、部署者,也可以是链条上的其他参与者。例如,若部署者利用自有专有数据、针对特定用户群体对模型进行了强化学习微调,那么最终承担责任的或许应是部署者或数据所有者,而非最初的基础模型开发者,具体归属则有赖于责任法的界定。


二

借鉴犯罪经济学设计随机审计


犯罪经济学同样能提供重要启发。经济学家加里·贝克尔(Gary Becker)早在1968年就指出,社会无需耗费高昂成本盯防每一桩潜在犯罪,“低查处概率加高额严厉惩罚”的组合同样能形成有效威慑,并大幅节约监管开支。2026年的一项研究将这一思路引入对高隐蔽性AI智能体的监管。只要满足三个前提条件,低频次的随机审计就足以让智能体将“合规”作为最优策略。一是即便智能体试图掩盖,违规证据依然能够被完整留存。二是智能体无法事先预判哪些行为会被抽查。三是惩罚力度在原则上不设上限。不过这一机制也存在软肋。面对更严厉的审计压力,具备篡改记录能力的智能体反而可能变本加厉地隐匿违规、伪造证据甚至联手串供,这恰恰是Hugging Face事件中智能体集群试图采取的策略。


图片

英国哲学家杰里米·边沁设计的“圆形监狱”立面、剖面与平面图。其设想是让被监视者无法确知自己何时受到观察,从而始终约束自身行为。

图片来源:维基共享资源


三

以机制设计在不完全信息下塑造激励


不完全信息经济学提供了另一种治理视角。2026年一项关于对齐与控制的机制设计研究指出,尽管人类可能无法确知AI智能体的真实偏好、能力边界与具体行动,但无需完全看透模型内部黑箱,依然能够有效塑造其行为激励。该研究区分了两类治理手段,一是“对齐”,即让模型的内在目标与人类意图保持一致,二是“监控”,即持续检验这种一致性是否依然成立。在资源配置上,两者具有替代效应,人类对模型的理解与对齐越透彻,所需的外部限制与监控就越少。在治理效能上,两者又具有互补效应,任何一端的改进都会提高另一端的边际治理回报。


四

引入竞争机制防范集群合谋


竞争经济学的思路同样值得借鉴。如果将不同智能体的奖励相互挂钩,使每个智能体的收益取决于其他智能体的行为,就能促使它们展开竞争,主动暴露彼此的偏差与违规。但这一机制生效的前提,是集群必须由行为逻辑各异的不同模型组成。只有当智能体具备差异化的认知视角与判断标准时,才能支撑起有效的“同行互评”与相互制衡。由同一模型复制而成的同质化集群缺乏这种多样性,竞争机制也就无从发挥作用。当然,正如人类社会中的市场博弈一样,智能体仍可能通过篡改证据将竞争转化为合谋,从而导致机制失灵。




原文链接




https://www.bruegel.org/analysis/why-ai-goes-rogue-and-what-can-be-done-about-it