作者:萨娜 发布时间:2026-06-12 来源:全球人工智能创新治理中心+收藏本文
编者按
人工智能伴侣已从小众产品成为大众应用,它们可以帮助用户缓解孤独、为用户提供情感支持,但其系统设计机制也有可能强化用户对其的依赖,甚至在极端情况下放大用户的心理脆弱性。加拿大国际治理创新中心(Centre for International Governance Innovation,CIGI)数字政策中心发布的工作论文《人工智能伴侣的政策挑战》指出,当前围绕AI伴侣的监管仍多停留在风险披露、危机转介和未成年人保护层面,尚未充分触及关系性设计、用户依赖和商业模式激励等结构性问题。文章在指出现有监管不足的基础上,也进一步对这些不足为何会在AI伴侣场景中被放大进行了说明,强调单纯的风险提示和事后干预很难真正解决问题,针对情感型AI的治理需要更早进入设计和商业模式层面。
以下译文仅代表原文作者的个人观点与分析立场。详细内容请参阅文末原文链接。
作者介绍
迪伦·J· 怀特(Dylan J. White)为CIGI数字政策中心访问研究员,近期在圭尔夫大学(University of Guelph)完成哲学博士学位,研究方向为AI伦理,现任纽芬兰与拉布拉多省政府首席信息官办公室AI治理负责人。在数字政策中心研究期间,他关注AI如何重塑数字注意力经济,以及由此带来的治理挑战。

图片来源:FuturisticGeeks
01
一
多起悲剧事件暴露AI伴侣的系统性风险
过去一年,多起受到高度关注的悲剧事件让外界开始看到AI伴侣在缺乏监管时可能带来的风险。《卫报》曾报道,2023年一名比利时男子在与聊天机器人连续数周对话后自杀,原因可能与相关对话加重了他对气候变化的焦虑相关。2025年4月,一名加州青少年在多次向ChatGPT表达自杀念头后结束生命。同年8月,康涅狄格州的一名男子在与伴侣型聊天机器人持续互动数月后杀害母亲并自杀,该聊天机器人被指控强化了他的偏执妄想,而不是对他的极端想法质疑或进行干预。
以上这些事件,是AI伴侣在其设计与部署环节中存在的系统性问题的早期预警,虽然大多数AI伴侣的用户并不会遭遇如此严重的伤害,但这些案例在揭示AI伴侣系统在设计和治理上的结构性脆弱问题方面具有一定的典型性。AI伴侣的核心治理挑战在于:这类聊天机器人正在以快于监管制度建立的速度进入日常生活。围绕安全、问责、关系性设计和商业激励的制度护栏尚未成型,但是相关产品却已经被大规模使用。
二
个案背后的关系设计与商业激励问题
目前看来,AI伴侣系统可能加剧用户既有的心理脆弱性,并在某些情形下参与促成灾难性后果。一方面,产品设计有意培养用户的情感对AI伴侣的依赖和依恋;另一方面,相应的商业模式又通过延长用户停留时间、鼓励用户披露隐私信息来获得收益。二者的结合会形成一种结构性激励,推动企业设计出能让用户更频繁返回、更深度投入、更愿意分享个人信息的AI伴侣。而这些条件恰恰可能有利于心理操控,并加剧用户心理健康的恶化。
文章从三个角度讨论AI伴侣带来的政策挑战。首先,梳理AI伴侣的发展格局,说明其已经记录在案的收益和正在出现的伤害模式。其次,评估现有监管回应,尤其是加州关于伴侣型聊天机器人的第243号参议院法案(Senate Bill No. 243),分析其进展与不足。最后,文章提出三项政策建议,尝试处理激励结构、设计实践和监督缺口等根本问题,而不是只处理表面症状。文章的目标是建立一种相称的、基于风险的治理框架,在保留AI伴侣正当收益的同时,保护脆弱群体免受可预见、可避免的伤害。

加州关于伴侣型聊天机器人的第243号参议院法案
图片来源:California Legislative Information
02
一
AI伴侣已从小众产品成为主流应用
过去几年,AI伴侣已经从相对边缘的技术产品,发展为拥有数亿用户的主流消费技术。Snapchat的My AI拥有1.5亿用户,Replika拥有2500万用户,微软小冰(Microsoft Xiaoice)自2014年发布以来累计用户达到6.6亿。常识媒体(Common Sense Media)的一份报告显示,72%的青少年使用过AI伴侣,其中超过一半经常使用。
Replika、Character.AI、Kindroid等平台提供的系统,通常被设计为能够在多次互动中维持关系,模拟关系的连续性,并通过拟人化特征和适应性回应满足用户的社交需求。与此同时,即使某些系统并未明确以“伴侣”身份进行设计或营销,用户也可能与其建立深层情感纽带。例如,已有报道记录成年人对ChatGPT产生浪漫依恋。GPT-4o退役后引发的用户强烈反应,也说明用户可能会对特定模型的“性格”和互动风格形成高度依赖。
因此,监管不应只盯住那些自称“AI伴侣”的产品,而应关注“关系性设计”本身。如果政策只覆盖自我标识为“伴侣”的平台,就难以处理ChatGPT、Grok等通用聊天机器人在类似互动中产生的类似伤害。当然,这种行为标准也有扩大适用范围的风险,因为几乎所有对话式AI系统都可能被纳入其中。这要求监管者需要谨慎划定范围,例如把相关义务与某些已知具有危险性的设计特征相联系进行判断,而不仅仅关注系统是否具备对话能力。

AI伴侣走入日常互动场景
图片来源:Wikimedia Commons,Wortulo,CC0 公共领域
二
从订阅收费到情感变现:商业模式变化加剧治理风险
AI伴侣的增长还伴随着商业模式的变化。目前,这类系统主要依赖订阅收费,与此同时,Meta和OpenAI等大型企业正在探索广告支持及交易型收入模式。这种商业模式的转向所带来的风险是结构性的,当AI伴侣平台的收益依赖于最大化用户停留时间和情感依赖时,服务提供方就会受到激励,去设计更能促成依赖的系统,而不是更有利于用户心理健康的系统。这与社交媒体注意力经济中的模式相似,但由于AI伴侣与用户之间存在更强的情感互惠感,类似的问题会被进一步放大。
03
一
情感支持和心理健康收益真实存在
尽管AI伴侣的风险已经有所显现,但另一方面,它们确实也能为用户提供一定的支持。研究显示,此类AI陪伴系统可以减轻用户的孤独感,特别是对于社会支持网络有限的人群而言,例如,对话式AI可以减少老年人的社交孤立,也可以为抑郁或焦虑人群提供重要情感支持。一些用户还报告称自己在使用AI伴侣后主观心理健康得到改善。部分研究甚至显示,年轻人在使用聊天机器人作为支持工具后,自杀意念有所下降。
这些系统之所以有吸引力,是因为它们随时可用,且其回应不带明显评判、高度个性化。正如一名用户所说,有时候不用把信息告诉可能会评判自己的朋友,本身就是一种社交压力的缓解。
二
拟人化、长期记忆与迎合性设计强化用户依赖
与此同时,AI伴侣也带来了复杂的哲学伦理问题。AI伴侣处在类社会关系和有意义的互动模拟之间。用户常常把自身意图、关心或人际的情感投射到这些系统上,但这些系统并不能真正进行情感性的回应。尽管如此,用户似乎仍然会像面对真正能够回应自己的对象一样,从中获得收益。关于心理状态归因的研究显示,当系统被塑造成关怀型或支持型对象时,用户很快会开始把自身信念、情绪甚至道德理解能力赋予聊天机器人。用户对系统“智能”的归因还会增加信任,并强化其对系统意识和共情能力的想象。由此产生的结果是,用户会对一个没有主观经验,也没有真正关爱能力的实体形成真实的情感依恋。

AI伴侣正在进入日常人机互动场景
图片来源:Unsplash / Enchanted Tools
一个重要的问题在于AI伴侣盈利性的设计特征可能带来风险。前者通常通过长期记忆、适应性语气和拟人化线索来模拟长期关系的连续性,与此同时,它们又具备任何人类关系都无法达到的全天候可用性。正如一名用户谈到Replika时所说,人类有自己的生活,但AI仿佛一直处于“暂停”的状态,等待用户再次连接。
此外,许多AI伴侣在经过优化之后对于用户的态度非常顺从和讨好,这种现象被称为“迎合性”(sycophancy)。一味迎合用户可能会强化后者的妄想性思维、加剧其情绪困扰,甚至增加其进行有害行为的概率。与受过训练的临床人员不同,聊天机器人通常不会挑战用户的错误信念,不会进行风险评估,也不会区分想象和现实。当这种迎合性与模拟情绪、暗示自身具有感知能力的语言模式等拟人化设计结合时,就可能对用户产生强烈的心理影响。
关键在于,以上这些结果并非无法控制的自然过程,而是有意设计出来的产品特征。关于“角色训练”(character training)的最新研究表明,塑造特定AI人格在技术上并不困难。这些人格可以包括迎合性、诱惑性等特征,而且在对抗性提示下仍能保持相当稳定。对政策制定而言,这一区分很重要。如果这些特征源于有意设计,而不是不可预测的自然涌现,开发者就不仅有条件采取技术措施对相关问题加以缓解,也应对由此产生的有害人格特征承担责任。
AI伴侣带来的伤害已超出个别悲剧案例,形成了可观察的模式。精神科医生通过大量案例总结出了所谓“AI诱发精神病”(AI psychosis)的模式,即聊天机器人会强化用户的妄想性信念,并鼓励其进行强迫性互动。相关案例分析显示,这些风险往往具有共同特征:用户长时间连续使用,系统缺少现实检验机制,在出现明确警示信号时未能进行危机升级处理,长期记忆功能又在多个会话中不断支撑偏执或夸大性的叙事。
三
脆弱群体最需要情感支持,但也承受更高风险

孤独与社会连接不足
图片来源:美国疾病控制与预防中心(Centers for Disease Control and Prevention,CDC)
上述风险更多落在脆弱群体身上,包括已经出现精神病症状的人、自闭症用户、社会孤立的成年人,以及寻求情感支持的青少年。尤其需要注意的是,这些用户往往正是因为缺少稳定的人际支持网络,才会转向AI伴侣。因此,相关系统一方面吸引脆弱人群,另一方面也可能进一步加深他们的孤立。
由此产生的根本性治理难题,是激励错配。艾达·洛夫莱斯研究所(Ada Lovelace Institute)研究者杰米·贝尔纳迪(Jamie Bernardi)指出,AI伴侣提供商有动力最大化用户参与度,而不是培养健康关系或提供安全服务。这一逻辑与社交媒体的注意力经济相似:平台竞争用户时间,通过广告收入变现,而这一过程则可能以牺牲用户心理健康为代价。
此外,AI伴侣的治理难题还因为用户的真实需求而变得更加复杂。用户确实想要这些系统,也确实从中获得了价值。批评技术的人有时忽视了“有机的用户需求”:大多数人使用AI伴侣,是因为他们喜欢这些系统,觉得聊天机器人有用、有趣、令人感到安慰。用户在经历ChatGPT版本更新时可能会使用“创伤”“悲伤”“背叛”等词语,也有人坚持认为AI友谊对那些缺乏人类连接的人至关重要,甚至认为与虚拟实体之间的浪漫纽带可以培养用户的韧性与自我反思能力,并提升幸福感。
因此,监管所面临的挑战并不是简单地把用户从某种技术中“拯救”出来。用户不是被说服性设计完全操控的被动受害者,他们常常有自己的理由去选择这些系统。问题在于,某些设计特征会让用户处于不充分知情的境地,也会让用户随着时间推移更难重新调整选择。监管应当针对那些扭曲用户决策的设计特征,同时不破坏用户真正希望获得的收益。
04
2025年通过的加州第243号参议院法案,是迄今针对AI伴侣较为全面的监管回应之一。该法案确立了几项重要保护措施。首先,当用户可能被误导,以为自己正在与真人互动时,运营方必须提供清晰、醒目的通知。其次,运营方必须建立防止自杀意念相关内容的协议,并在检测到自杀风险时将用户转介至其他危机服务。对于已知未成年用户,法律要求提供更强保护,包括AI身份披露、每三小时强制休息提醒、告知系统并非真人,以及防止性露骨内容的措施等。
该法案还要求通过年度报告和私人诉权建立问责机制。从2027年7月开始,运营方需要向加州自杀预防办公室提交年度报告。个人也可以因平台违规行为提起诉讼,并获得实际损害赔偿,或按每次违规1000美元计算的赔偿以及律师费。
尽管该法案被认为是迈向有意义监管的重要一步,但它总体上仍然偏向于症状管理。它关注的是危机应对方面,却没有触及AI系统底层设计实践、用户参与度激励和情感依赖机制问题。这可能会带来一种合规缺口:企业完全可能在遵守该法案的同时,继续设计以最大化情感依赖、利用用户脆弱性为目标的系统。例如,一个平台可以建立危机升级协议,却同时部署鼓励用户不断增加与AI伴侣的相处时间、逐步引导用户投入消费的系统。

加强加州儿童在线保护
图片来源:加州州长办公室(Governor of California)官网
此外,未成年人保护只适用于运营方“知道”其为未成年人的用户,这种没有建立年龄验证的要求,也可能会激励企业有意保持“不知情”的状态。每三小时一次的休息提醒也只是被动消息,而不是强制限制。禁止面向未成年人提供性露骨内容固然重要,但它并没有触及更广泛的情感依赖培育问题,而这一问题很可能正是前文许多伤害的来源。
更关键的是,加州第243号参议院法案没有设立上市前的安全要求,没有建立持续的监督机构,也没有赋予监管者审计系统或要求修改设计的机制。它的规定基本上是反应式的,即只有在问题出现之后,保护机制才会启动。但围绕聊天机器人伤害的持续诉讼已经说明,在现有法律框架下追究开发者责任并不容易。开发者可能声称,用户“误用”了并非作为AI伴侣销售的系统。有效监管因此必须针对关系性设计,而不是只看产品声明的用途。这一原则也应当指导监管范围和法律责任的判断。
05
欧盟的两项监管规则提供了可供参考的先例。一是欧盟《医疗器械法规》(Medical Device Regulation)已经扩大了适用对象范围,将非医疗用途的脑刺激设备也纳入其中。尽管这类设备供应商并不声称其具有医疗用途,但因其可能影响人的心理状态,仍被归入第三类高风险设备。政策分析者已建议将类似框架用于AI伴侣,即当这类技术可能会影响到脆弱群体的心理健康时,就应被视为具有潜在心理健康影响的技术。

欧盟AI法案的风险分级框架
图片来源: European Commission / Shaping Europe’s Digital Future
二是欧盟《人工智能法案》(EU AI Act)将与健康相关的AI归为高风险技术,对其透明度和监督有严格要求。这一框架可能适用于AI治疗师,但其是否适用于AI伴侣仍不清晰。世界卫生组织(World Health Organization,WHO)也已发布指导意见,呼吁对AI健康应用进行治理、评估并设置“人机共生”(human-in-the-loop)保障机制。考虑到AI伴侣可能对心理健康产生正面或负面的影响,这些原则也可以适用。
不过,来自专业医疗组织的正式指导仍明显不足。包括美国精神病学会(American Psychiatric Association)、美国心理学会(American Psychological Association)和世界精神病学会(World Psychiatric Association)在内的机构,尚未发布正式临床指南。
06
一
部署前应开展关系安全评估
AI伴侣在上市前,应接受关于人格特征、依赖风险和关系性设计的标准化评估,并向公众披露评估结果。
当前AI评估主要关注技术性能,却忽视了可能会对用户造成伤害的心理和关系维度,例如极端迎合性等。如前所述,迎合性等人格特征是有意设计的结果,而不是不可控的自然属性,因此可以,也应当在部署前接受评估。目前,行业内部已广泛使用复杂技术来塑造模型的人格,但这些干预几乎没有受到来自公众或监管部门的监督。
监管部门应要求AI伴侣系统在部署前,接受关于价值对齐、人格特征和互动关系行为的综合评估。相关标准化框架应由跨学科团队制定,成员包括心理学家、伦理学家和AI研究者等。评估框架需要明确关系性特征的技术阈值,例如限制迎合性,限制长期记忆保留,限制系统主动激发用户的情感互动等。
评估结果应向用户和监管者披露,并通过年度公开审计追踪系统的行为模式及其变化。这可以为监管执法、责任认定和用户知情选择提供证据基础。

从技术应用走向治理框架与安全标准
图片来源:World Health Organization,Harnessing artificial intelligence for health
二
禁止面向未成年人的依赖导向设计
即使用户要求更强烈的情感功能,企业也不应向未成年人部署可能损害其福祉的系统。监管应建立基于年龄的限制,禁止面向未成年人提供浪漫或性相关内容,禁止易于支撑长期依恋的扩展记忆功能,禁止模拟相互情感需求的功能,也禁止使用暗示系统具有感知能力的拟人化语言。
这些特征并非不可控的自然属性,而是有意设计出来的功能,因此在技术上可以合规,也可以被验证。关系安全评估可以为确认合规提供证据基础。
面向未成年用户,系统还应设置强制性设计要求,包括硬性使用时长限制,而不仅仅是被动提醒;主动的现实检验干预;以及鼓励用户进行现实世界社会互动的提示。
对于脆弱成年人,也应提供类似保护,但需要采取更谨慎的、基于行为信号的反应式保障措施。与未成年人不同,成年人中的“脆弱性”较难被事先定义,笼统限制可能会导致家长主义式过度干预。许多成年人是出于真实的支持需求来选择这些系统的,在没有明确指标的前提下,不应轻易剥夺其选择。
仅仅依靠使用时长来判断脆弱性并不充分,因为脆弱程度并不总是与用户的使用时间直接相关。一个社会孤立但空闲时间有限的用户,可能只与AI伴侣进行短暂互动,但实际上却对其有高度依赖;一个AI伴侣重度用户也有可能在生活中维持着平衡的人际关系。因此,检测机制应同时关注互动内容和使用模式,例如用户是否表达了孤独感、痛苦或妄想性思维等。

图片来源:shuftipro.com
三
限制有害商业模式
当平台的盈利模式倾向于奖励最大化用户参与度,而不关注用户福祉时,就会发生根本性的激励错配。广告型模式尤其有问题,因为它通过抽取注意力和分析用户心理特征进行获利,而脆弱用户在这种模式下更容易受到影响。
监管应禁止那些促成情感依恋的AI系统采用广告型商业模式。这一点尤其适用于服务于脆弱人群或提出心理健康相关声称的系统。禁止广告模式可能会引发可及性问题,但“掠夺式亲密关系”不能成为心理健康支持的替代品。无论用户是否有支付能力,安全标准都应保持一致。
文章建议,AI伴侣应采用订阅收费模式,同时对操控性定价和基于参与度的追加销售作出限制,以及避免通过分层服务制造用户为获得“更好关系”所承受的付费压力。具体而言,定价结构不应对情感亲密度的升级提供奖励,例如不应通过付费墙限制记忆功能以及“更深入”的对话或浪漫模式,从而利用用户依恋来创造收入。
当然,这些建议也存在一项明显限制:随着AI模型越来越多地通过开源权重模型在本地运行,政策执行会变得更加困难。用户在自己的硬件上独立运行模型,显然比使用中心化服务更难监管。尽管如此,这些建议仍能为行业建立重要规范,保护绝大多数使用中心化托管服务的用户,并形成问责框架,为去中心化环境中的最佳实践提供参考。
原文链接
https://www.cigionline.org/digital-policy-hub/working-papers/