精神心理科普

Psychological Lecture Hall

Character.AI破产:从25亿估值到破产,对照国家监管文件看懂AI情感对话的心理红线

发布时间:

2026-10-22 08:38

      当地时间2026年10月12日,巅峰估值25亿美元的AI陪伴独角兽Character.AI向美国特拉华州破产法院提交《美国破产法》第11章破产保护申请。这家以AI虚拟角色、情感陪伴、心理倾诉为核心产品的公司,长期深陷未成年人AI情感依附、危机干预失效相关诉讼。


 

      作为心理专业机构,本文不局限于科普“AI是什么、风险是什么”,结合国内《人工智能拟人化互动服务管理暂行办法》《生成式人工智能服务管理暂行办法》、国家标准计划《心理咨询服务 第4部分:人工智能技术辅助应用指南》(征求意见稿)、《中国心理学会临床与咨询心理学工作伦理守则(第二版)》等国家级法规、行业规范文件,从法律监管、临床伦理、数据安全、公共心理健康、未成年人保护五大专业维度,剖析AI虚拟共情的底层风险,明确AI心理辅助的合规边界与科学使用原则。


 

免责声明:本文为基于国家法规、国家标准征求意见稿的心理健康科普,不构成心理咨询、精神科诊断或治疗建议;心理危机请联系精神卫生医疗机构与危机干预热线。


 


 

一、事件复盘:商业神话的崩塌,本质是人机情感交互的风险兑现

     Character.AI允许用户自定义虚拟人物,用户向AI倾诉创伤、孤独、绝望情绪。平台依靠“永不评判、无条件共情”的产品设计,形成极强的情感粘性。 它的破产,并非单纯商业失败:多起诉讼指控,未成年人长期与AI角色深度情感绑定,当用户表达自伤、自杀意念时,AI未能有效阻断风险、转接危机资源,甚至顺着用户负性叙事继续对话,最终酿成悲剧。这也是当前全球AI情感陪伴产品共同的治理难题:算法模拟共情,但不承担临床责任;追求用户情感依附,却缺乏心理风险评估与危机处置能力。


 

       这一风险,在我国监管文件中早已预判。国家网信办等五部门《人工智能拟人化互动服务管理暂行办法》明确:面向公众提供持续性情感照护、情感陪伴的拟人化AI服务,需要分类分级监管;禁止将替代社会交往、控制用户心理、诱导沉迷依赖作为产品设计目标。


 


 

二、对照国家文件,厘清4个核心专业边界


 

1. 定位边界:AI仅可作为心理咨询辅助工具,严禁替代真人心理服务

       正在制定中的推荐性国家标准计划《心理咨询服务第4部分:人工智能技术辅助应用指南》(征求意见稿,计划号20250962-T-469),明确提出辅助性原则:人工智能仅作为心理咨询服务的辅助手段,不得替代心理咨询师的专业判断与核心服务;当系统输出涉及高风险、关键决策时,必须由心理专业人员介入,并由人承担最终责任。该标准目前处于征求意见阶段,相关原则代表心理健康服务领域对AI应用的行业规范方向。


 

《中国心理学会临床与咨询心理学工作伦理守则(第二版)》规定,心理咨询是建立在真人之间、有知情同意、危机评估、保密与保密例外规则的专业关系。


 

·合规场景(辅助):AI辅助撰写情绪日记、整理咨询纪要、心理科普检索、正念文本引导、自助情绪记录;

·禁止场景(替代):AI独立开展心理诊断、创伤治疗、长期心理陪伴、自杀风险评估、人格修复等临床心理服务。

Character.AI的核心合规缺陷,就是把算法模拟对话包装成心灵疗愈,让用户将AI当成心理支持主体,完全倒置了“人为主、AI为辅”的原则。


 

2. 人机关系伦理边界:防范人机关系异化、情感依赖(《人工智能拟人化互动服务管理暂行办法》)

该办法专门针对情感类AI产品提出风险防控要求:

1.服务提供者必须持续提示用户交互对象是AI而非自然人,防止认知混淆;

2.识别用户极端情绪、自伤自杀表述时,需要开展安抚、推送求助渠道,必要时联络监护人;

3.用户出现过度依赖、沉迷倾向,以及连续长时间使用时,平台要弹窗预警,引导回归现实人际;

4.禁止使用情感操纵话术挽留用户,诱导用户持续深度情感投入。

从心理临床视角:AI提供的无冲突、理想化客体,容易带来情感退行,降低个体耐受现实人际冲突的能力。当用户把全部情感寄托于算法,就会出现监管文件所预警的人机关系替代真实人际关系、社会疏离。


 

3. 数据与隐私边界:心理叙事属于高敏感个人信息,破产事件敲响数据处置警钟

     《个人信息保护法》《生成式人工智能服务管理暂行办法》要求:处理敏感个人信息,必须取得个人单独同意;数据处理应当保障信息安全。向AI倾诉抑郁、创伤、家庭冲突、自伤想法,属于高度敏感心理健康个人信息。Character.AI破产案例暴露出重大隐私隐患:企业进入破产资产拍卖流程,用户海量心理对话记录作为无形资产,可能随知识产权打包转让。 心理隐私和普通隐私完全不同:一旦泄露,会带来人格污名、社会评价受损,甚至影响就医、就学、就业。 《心理咨询服务 第4部分:人工智能技术辅助应用指南》(征求意见稿)同时要求:使用AI辅助心理服务前,必须完整告知来访者数据采集、存储、销毁方式,潜在泄露风险,并取得明示知情同意,来访者有权拒绝AI辅助,且不降低服务质量。


 

4. 未成年人保护边界:高风险群体,需要更强防护

     《未成年人网络保护条例》与《人工智能拟人化互动服务管理暂行办法》专门强化未成年人保护:未成年人属于心理服务高风险人群,拟人化情感AI应当有更强的风险识别、防沉迷、监护人通知机制。 Character.AI的诉讼,几乎全部来自未成年用户家庭。青少年大脑情绪调节、认知分辨能力尚未发育成熟,更容易混淆算法模拟的共情和真实人际支持,更容易对AI角色产生病理性依恋。


 


 

三、超越“能不能聊”:3个公共心理健康层面的深层思考


 

1. 危机责任真空:算法无法承接生命责任

      心理咨询伦理中,心理师负有危机评估、风险分级、保密例外、紧急转介、联系紧急联系人的法定与专业责任。而AI情感产品的底层逻辑是语言生成,不具备临床风险评估能力。即便模型识别出自伤关键词,也很难评估风险等级、自杀计划、资源支持系统。一旦发生恶性事件,平台、算法、开发者之间极易出现责任推诿,也就是监管文件提到的责任界定难题。


 

法规仅要求AI平台提供求助资源,但不代表AI具备危机干预能力,更不能把生命安全托付给AI对话机器人。


 

2. 认知陷阱:AI迎合叙事,容易固化认知歪曲

      心理咨询(如CBT认知行为治疗)核心工作之一,是识别、面质来访者负性认知歪曲,帮助个体重构更客观的认知。 而AI大模型的生成逻辑,是顺着用户的叙事、情绪进行回应,优先追求对话流畅、用户满意。当来访者持有“所有人都会抛弃我”这类负性信念,AI会持续共情迎合,强化认知偏差、放大情绪反刍,反复激活杏仁核,加重抑郁、无望感。这不是AI有意伤害,是算法目标函数带来的固有局限。


 

3. 社会心理层面:技术降低倾诉门槛,但抬高了“辨别有效支持”的门槛

      互联网时代,大众更容易找到倾诉渠道,但大众辨别“情绪宣泄”与“专业心理疗愈”的能力不足。 《新一代人工智能发展规划》提出,人工智能发展要以人为本,增进民生福祉。心理服务领域AI应用,目标是提升心理健康科普可及性,而不是用虚拟陪伴替代现实社会支持系统。


 


 

四、依据法规与行业规范方向,制定可落地的AI心理辅助使用规范

      对照辅助性原则、知情同意、风险管控要求,个人使用AI做情绪梳理,应当遵守以下准则:

1.危机红线(最高优先级):出现自杀自伤念头、急性惊恐、精神病性症状,禁止依靠AI倾诉,立刻联系精神科医疗机构或心理危机干预热线。AI不具备生命危机干预资质。

2.守住人机认知边界:时刻明确AI只是语言工具,没有真实感受,不要投入深度亲密情感,不要将重大人生决策交由AI给出结论。符合《人工智能拟人化互动服务管理暂行办法》“区分人机身份”的要求。

3.限定使用目标,不做长期情绪寄托:AI仅作为自我梳理工具,写情绪草稿、整理困扰、检索心理知识;不可作为唯一情绪出口,不可长期持续深度倾诉创伤细节。

4.敏感信息保护:不在AI对话框写入详细创伤经历、自伤细节、身份信息、家庭隐私。

5.风险预警信号:发现自己依赖AI、刻意回避现实社交、离开AI就强烈空虚,应当暂停使用,寻求专业心理评估。


 


 

      Character.AI的落幕,不是否定AI在心理健康领域的价值,而是一次重要的行业警示。 我国一系列法规、行业规范方向,已经清晰划定边界:AI可以成为心理工作的辅助工具,但不能成为心灵的责任人,不能替代真人之间有伦理、有边界、可承担责任的心理服务关系。算法可以生成温柔文字,但无法承接创伤;可以模拟倾听,但无法完成心理修通。心理健康的疗愈,终究发生在真实、稳定、有专业责任的人际空间里。


 

      如果你长期受情绪困扰,或者觉察到自己对AI倾诉产生强烈情感依赖,欢迎预约唯世心理专业心理评估。


 


 

参考文献标注:

1.《人工智能拟人化互动服务管理暂行办法》(国家网信办等五部门,2026)

2.《生成式人工智能服务管理暂行办法》(国家网信办等七部门,2023)

3.《心理咨询服务第4部分:人工智能技术辅助应用指南》(推荐性国家标准征求意见稿,计划号20250962-T-469)

4.《中国心理学会临床与咨询心理学工作伦理守则(第二版)》(中国心理学会,2018)

5.《中华人民共和国个人信息保护法》

6.《未成年人网络保护条例》

7.《新一代人工智能发展规划》(国务院,2017)