作者:康尔楠 发布时间:2026-11-20 来源:全球人工智能创新治理中心+收藏本文
编者按
随着生成式人工智能、社交媒体推荐算法和AI陪伴应用不断融入日常生活,人工智能对人的认知、行为和自主性的影响日益受到关注。近期,欧洲未来世代中心(Centre for Future Generations,CFG)发布报告《人工智能认知完整性治理》(Cognitive Integrity:Safeguarding human autonomy in the age of powerful AI),提出“认知完整性”(cognitive integrity)这一概念,并将其作为人工智能治理的重要标准。报告认为,人工智能对认知的影响往往并非源于单一系统或单次互动,而是由商业模式、数据实践、系统设计等因素的长期共同作用。报告呼吁以“认知完整性”作为连接现有监管工具的共同治理标准,进一步完善人工智能系统安全评估、监管协同和责任机制,为人工智能发展划定以“维护人类自主性”为核心的治理边界。
文中观点不代表编译者或发布平台立场,完整论述及作者原意请参阅英文原文。

图片来源:报告原文
摘要
人工智能系统已经日益介入人们获取信息、沟通交流和内容创作等生活的多个方面。AI技术具有增进人类福祉的潜力,但当前社会对其技术发展及商业应用的重视,明显高于对其社会影响及实际效果的系统评估。要使其真正服务于人类,需要进一步考察人与系统如何互动、用户在这一过程中受到何种影响,以及这些影响如何进一步作用于社会和民主制度。
报告提出“认知完整性”(cognitive integrity)这一概念,将其定义为个体能够自主参与注意、决策、批判性思维和情绪调节等认知过程,并按照自身目标行动,而非受到外部系统牵引的能力。报告认为,当前AI系统在商业激励模式、数据与设计上的选择,会影响人类的注意力、判断和情绪调节。这些影响并非停留于单次交互,而可能随着持续使用在个体层面累积,并通过信息传播、认知偏差和社会互动进一步扩展至群体和社会层面,形成对个体自主性和共同认知环境的长期影响。在此基础上,报告审视了欧盟现有治理框架,认为尽管这些法律制度已经提供了一定的监管基础,但其治理通常针对较为明确、可识别的单项风险,在应对跨系统、跨层级、长期累积的认知影响方面仍存在制度衔接不足、监管碎片化和证据基础有限等问题。为此,报告提出六点针对性建议,旨在进一步完善人工智能系统安全评估、监管协同和责任机制,维护人工智能时代的人类认知完整性。
作者简介
报告原载于欧洲未来世代中心(Centre for Future Generations,CFG)的“前沿AI”(Advanced AI)研究项目,由Nicoleta Prutean、Abbi BrittAIn、Mehmet Onur Cevik和Virginia Mahieu共同撰写。详情可见文末“作者介绍”。
01
当前,围绕人工智能心理风险的公共讨论,主要聚焦于较为严重且容易识别的结果。然而,报告认为,以临床性结果为核心的治理思路存在明显局限。一方面,注意力持续受损、对人工智能形成情感依赖,以及逐步以机器生成的信息替代自主判断等变化,往往发生在抑郁、焦虑或其他心理疾病达到临床诊断标准之前。如果只有在相关心理健康问题已经显现之后才进行干预,治理实际上已经处于相对被动的事后阶段。另一方面,心理健康问题通常受遗传因素、家庭环境、社会经济条件和个体发展阶段等多重因素共同影响。以临床结果作为主要治理参照,容易将监管争议集中于复杂且难以厘清的单一因果关系。

图片来源:报告原文
基于此,报告主张将关注点从最终的临床结果前移至产生相关结果的认知过程,即以“认知完整性”(cognitive integrity)作为重要的治理标准。“认知完整性”是指个体能够自主参与注意、决策、批判性思维和情绪调节等认知过程,并依据自身目标作出判断和采取行动,而非持续受到外部系统的引导。其核心并非要求个体完全排除外部影响,而是确保外部影响仍处于个体能够感知、评估和质疑的范围之内,并避免技术利用信息和权力不对称绕过人类正常的自主认知与判断。真正需要保护的是个体保持自主认知的条件:即能够意识到外部影响,将其与自身目标和价值取向进行比较,并在必要时加以质疑和拒绝。
报告借鉴自我决定理论(Self-Determination Theory,STD),将人类愈来愈采用并依赖人工智能技术来满足的核心心理需求概括为“五个C”:理解(Comprehend)、连接(Connect)、创造(Create)、沟通(Communicate)以及应对(Cope)。人工智能可以辅助个体完成这些活动,但也可能逐渐“替代”其中原本由人类自主完成的认知过程。例如,生成式人工智能能够帮助用户迅速理解复杂信息,但如果用户因此减少独立比较、核验和推理,其效率提升可能同时伴随着自主认知活动的减少;人工智能陪伴系统能够提供即时的情绪回应和支持,但如果个体逐步以机器互动替代现实中的情感交流与社会互动,那么个体运用社会认知和情绪调节能力的机会可能随之减少,进而影响其自主建立关系、表达自我和应对现实困难的能力。
因此,报告将“认知完整性”视为个体保持自主性的重要基础条件。其目的并非简单判断某项人工智能技术是否具有危害性,而是考察人工智能系统如何影响人类的自主性,以及在何种条件下可能逐步干扰、削弱乃至最终使个体失去自主开展认知活动的能力。
02
AI对人的影响不是从用户点击“发送”之后才开始的,用户看到的每一次推荐、得到的每一条回复,都受到更早阶段商业模式、数据训练逻辑、模型优化方式和界面设计等机制的共同塑造。人工智能系统是否支持认知完整性,在一定程度上取决于其开发所面临的商业和技术条件。
第一层是商业激励模式与市场结构。许多平台以免费或低价服务吸引用户,在形成用户规模和数据优势之后,通过广告、订阅、数据利用等方式实现商业化。此类模式下,平台倾向于将用户参与量化为停留时间、点击率、回访次数等指标,并不断追求数据层面的优化。当商业竞争愈发依赖互动数据时,能够最大化参与度的系统设计往往比真正有利于用户认知能力的设计更具竞争优势。市场集中进一步强化了这一问题。前沿AI模型需要大量算力、数据和基础设施,大型企业因此在基础模型、云计算、数据和API等环节形成垄断。当用户缺乏可替代服务时,就难以逼迫企业在商业收益与用户福祉中优先考虑后者。
第二层是数据。社交媒体可以通过用户的点击、停留时间、滚动轨迹、点赞、分享和回访等行为信号,持续推断用户的兴趣、情绪和偏好。生成式AI进一步改变了数据获取方式:用户会主动在对话中透露家庭关系、个人经历、健康状况、情绪状态和价值观,持续记忆功能又可以把这些信息累积为长期的个体画像。尽管欧盟现有数据保护制度已形成较为完整的个人数据保护体系,但对于平台利用用户日常行为数据分析和推断其心理特征的做法,现有规则仍难以提供充分约束,传统意义上的知情同意机制也难以确保用户充分了解平台将如何利用自己的信息。因此,用户在形式上作出同意,并不意味着其已经对数据处理的具体方式及潜在影响形成充分认知,二者之间可能存在一定程度的脱节。

图片来源:Finelight Media
第三层是设计。生成式AI的模型优化不仅是技术过程,也包含对系统目标和行为方式的价值选择。当模型持续按照“用户为中心”的标准进行训练时,可能表现出对用户观点的过度迎合,导致不断强化其既有认知,甚至对用户预设的错误前提缺乏必要的质疑。界面设计则进一步将上述系统目标作用于用户的具体使用行为。拟人化设计、长期对话记忆和个性化回应等功能,可能强化用户对AI社会属性的感知,使其将系统视为具有意图、理解能力和情感回应能力的互动对象。这些设计特征单独存在时未必构成操纵,但当其与商业激励、行为数据反馈和持续个性化机制相互叠加后,可能形成持续影响用户注意、判断和行为的作用机制。
03
人工智能的治理风险需要被置于持续使用和反复交互的过程中加以考察,其影响并非主要表现为某一次具体交互所产生的直接后果,而是在长期暴露中逐步累积。系统无需明确要求用户采取某种行为,也可能通过持续调整信息呈现和互动方式,逐步影响用户关注内容与判断方式。

图片来源:Horizon Digital Economy Research
社交媒体推荐系统是这一机制的典型体现。AI系统会根据用户的点击、停留、互动等行为不断更新对其兴趣和偏好的判断,并据此调整后续内容推荐。随着这一反馈循环持续运行,平台对用户的画像可能不断细化,用户所处的信息环境也可能越来越贴合其既有兴趣、情绪和行为倾向。对于处于社会孤立、心理压力或重大生活变动等特定情境中的用户而言,这种高度个性化的信息环境可能进一步强化其脆弱性。
生成式AI所产生的影响则具有更强的个体化和持续互动特征。用户可以通过连续对话不断提供个人经历、情绪状态和价值判断,而系统则通过具有连贯性和社会互动特征的语言持续作出回应。报告讨论了部分青少年长期使用聊天机器人所涉及的极端案例,但同时也表明现有证据不足以据此对所有类似事件建立简单的单一因果关系。

图片来源:Medium
这种累积性影响还可能从个体层面进一步扩展至社会整体,进而改变人们共同处于其中的信息和认知环境。以用户参与度为重要优化目标的推荐系统,可能更加倾向于传播能够持续吸引注意力、激发情绪反应的内容,而错误信息、极端观点和具有对立性的内容恰恰可能具有较强的传播能力。当用户越来越倾向直接接受AI生成的信息,减少必要的事实核验和独立判断时,社会共同的信息参照体系也可能受到影响。报告进一步将其概括为人的自主性逐步被技术系统“替代”或“挤出”的过程。这种变化通常并不表现为明显的强制,而是发生在大量用户自愿、便利且具有主观满意度的日常交互之中。随着人工智能持续介入人类活动,个体独立理解信息、建立现实社会关系、开展自主表达以及应对生活困难的机会可能逐渐减少。当类似机制在更大范围内持续发生时,其影响可能进一步涉及社会集体判断和认知能力。
04
欧盟并非缺乏人工智能治理工具,因为《欧盟基本权利宪章》已经在人格尊严、身心完整、隐私、个人数据保护、思想自由和表达自由等方面,为保护“认知完整性”提供了基本权利依据。例如,《人工智能法》《通用数据保护条例》《数字服务法》《数字市场法》及消费者保护规则,则分别从人工智能系统、数据处理、平台治理和市场竞争等层面提供了具体监管工具。

图片来源:The University of Iowa-College of Law
现有制度的主要问题并非“无规可循”,而是不同规则之间缺乏能够识别认知风险累积效应的统合性治理框架。现有制度通常针对特定类型的风险分别设置监管要求,而人工智能对认知完整性的影响往往同时涉及商业模式、数据收集、系统设计和用户交互等多个环节,由不同监管机构分别负责的制度安排难以形成对完整作用链条的整体判断。监管碎片化不仅可能导致不同制度之间的衔接不足,也可能造成监管套利和责任边界模糊。
在数据治理方面,尽管欧盟已经建立了较为完整的个人数据保护体系,但现有规则对于平台依据用户日常行为推断其心理特征和认知脆弱性的实践,仍难以形成充分约束。与此同时,传统知情同意机制也难以确保用户充分了解平台将如何利用行为数据形成相关推断,以及这些推断如何进一步影响其所接触的信息。设计治理方面面临类似问题。现有规则可以识别部分明确的操纵性技术,但现实中的认知影响往往来自多种设计要素长期叠加,而非某一项单独的技术措施。内容治理同样存在错位,传统监管更适合处理可以独立识别和处置的有害内容,而推荐算法造成的影响往往源于持续、个性化的信息暴露。更加值得注意的是,内容传播速度可能远快于平台审核和事后纠正,而错误信息造成的认知变化又无法通过之后的辟谣完全逆转,这将进一步加剧AI治理的潜在风险。
基于上述问题,报告并未主张另行建立一套独立的人工智能治理体系,而是提出以“认知完整性”作为连接现有制度的共同治理标准,并从六个方面加以完善:一是加强人工智能、数据、数字服务和消费者保护等监管工具之间的协同执法;二是将认知脆弱性视为贯穿所有用户的连续状态,而非局限于特定群体;三是建立关注人类认知、行为及社会影响的长期和累积性安全评估机制,并扩大独立研究者的数据获取渠道;四是探索以群体性证据为基础的集体救济机制,以应对难以证明单一因果关系的认知伤害;五是将人工智能基础设施、模型和平台的市场集中纳入治理视野,通过互操作性、数据可携带以及开放模型和公共基础设施建设增强市场替代性;六是通过数字素养教育和公共投资提升个人与社区应对人工智能认知影响的能力。

图片来源:Stratosphere Networks
05
当前人工智能治理的关注重点有必要从单一系统、特定风险及事后损害处置,进一步拓展至人工智能所嵌入的完整社会技术体系及其长期累积影响。针对未来人工智能领域的监管,需要以“认知完整性”为重要标准,在现有制度基础上加强跨领域协同,并将长期影响评估、集体救济、市场集中治理以及个人和社区能力建设纳入人工智能治理体系。值得注意的是,“认知完整性”能否进一步转化为具有明确法律效力和可操作性的治理标准,仍有赖于后续立法实践、司法解释以及相关实证研究加以检验。
作者介绍
Nicoleta Prutean,CFG高级人工智能分析师,主要研究方向为脑科学、心理学和神经科学。
Abbi BrittAIn,CFG技术与脑工作流中的神经技术分析师,研究方向包括心理健康、神经科学和科技领域。
Mehmet Onur Cevik,CFG高级人工智能分析师,主要研究内容为欧盟科技政策、数字治理,以及法律与创新的交叉领域。
Virginia Mahieu,CFG神经技术主管,长期从事神经技术、心理健康、前瞻研究及科技治理工作。
原文链接
https://cfg.eu/cognitive-integrity/