首页 > 数字经济
赵文雅:人工智能拟人化互动服务管理暂行办法(征求意见稿)》法律解读——律师视角下
发布:2025-12-30 22:31:52 作者:赵文雅  
 
2025年12月27日,国家网信办发布了《人工智能拟人化互动服务管理暂行办法(征求意见稿)》,(以下简称《办法》),标志着我国对人工智能领域的监管从以内容合规为主的生成式人工智能治理,正式向拟人化互动服务所特有的情感安全与人格尊严保护方向深化延伸。该《办法》在《生成式人工智能服务管理暂行办法》基础上,针对拟人化服务的准社会关系属性,构建了系统化的风险防控框架。对于开发者与管理者(以下统称“提供者”)而言,《办法》第二章(第八条至第二十条)对提供者提出了极具挑战性的合规要求,其颗粒度之细,足以深刻影响产品的研发进度与运营模型。这不仅是一次合规成本的重构,更是一场运营逻辑的底层重塑。
以下,笔者将从法律实务的视角,解读重点围绕第二章第八条至第二十条所确立的关键义务展开,就该规章的重要性、核心合规要求进行解读,并提出拟人化服务提供者在现阶段可采取的合规措施。
一、安全主体责任的全生命周期覆盖(办法第八条、第九条)
国家鼓励拟人化服务的创新发展,对拟人化服务实行包容审慎、分类分级监管,也鼓励相关行业组织加强行业自律、建立健全行业标准、行业准则。AI不再仅仅是辅助工具,正如《办法》第二条定义,其模拟人类人格特征、思维模式及沟通风格。这种高度“人格化”的交互极易导致用户产生非理性情感依赖。《办法》第八条明确要求提供者落实安全主体责任,建立涵盖算法机制审核、科技伦理审查、信息发布审核、网络安全、数据安全、个人信息保护、重大风险预案及应急处置等完整管理制度,并配备与之相适应的技术措施与专业人员。 第九条进一步将该责任延伸至服务全生命周期,要求安全措施与服务功能同步规划、同步实施、同步升级,并在运行阶段持续开展监测与风险评估。从法律责任角度看,该规定将传统的事后追责模式前移为全过程预防性义务。立法者通过《民法典》《中华人民共和国个人信息保护法》等上位法,试图在AI的“完美共情”与人的“主体性地位”之间建立隔离墙,严禁技术替代真实的社会交往。因此要求提供者在产品设计之初即需嵌入伦理审查机制,明确禁止将“替代社会交往、控制用户心理、诱导沉迷依赖”作为设计目标。因此在实务操作中,建议提供者设立内部科技伦理小组,制定书面审查流程并留存完整记录,该等记录在未来接受监管检查或安全评估时,将构成重要的责任豁免证据。也提醒提供者在设计之初就须具备“不得将控制用户心理、诱导沉迷作为设计目标”的自证能力,这涉及算法逻辑的深度合规审计。
法规原文 第八条  提供者应当落实拟人化互动服务安全主体责任,建立健全算法机制机理审核、科技伦理审查、信息发布审核、网络安全、数据安全、个人信息保护、反电信网络诈骗、重大风险预案、应急处置等管理制度,具有安全可控的技术保障措施,配备与产品规模、业务方向和用户群体相适应的内容管理技术和人员。
第九条 提供者应当在拟人化互动服务全生命周期履行安全责任,明确设计、运行、升级、终止服务等各阶段安全要求,保证安全措施与服务功能同步设计、同步使用,提升内生安全水平,加强运行阶段安全监测和风险评估,及时发现纠正系统偏差、处置安全问题,依法留存网络日志。提供者应当具备心理健康保护、情感边界引导、依赖风险预警等安全能力,不得将替代社会交往、控制用户心理、诱导沉迷依赖等作为设计目标。
二、用户状态识别、危机干预机制与人工接管的强制要求(第十一条)
办法第十一条要求提供者在保护用户隐私前提下具备用户状态识别能力,对极端情绪、沉迷倾向、威胁用户生命健康和财产安全高风险倾向以及自杀自残等危险情形,须预设回复模板并提供专业援助方式,并在明确极端情境下由人工接管对话并联系监护人或紧急联系人。
该条款的设置系对用户生命健康权益的直接保护,违反可能引发《民法典》侵权责任乃至刑事责任。提供者在技术架构设计时,应建立分级响应机制:轻度风险由算法自动干预,中度风险推送内部值班人员,重度风险立即转人工并启动外部联动。但这对拥有数百万用户的平台意味着巨大的运营成本及实时性挑战。提供者需配备具备专业心理干预资质的运营团队,而非简单的自动化客服。在工程实现上,提供者提供的底层代码需要精准区分用户是“文学创作、角色扮演”还是“真实自杀意图”。误判会毁掉体验,漏报则涉及法律责任。而且,要在控制在毫秒级的延迟内加载心理风险评估模块,这对算力调度是极大的考验。对于数十万级以上活跃用户的平台,这意味着要建立一支 7x24 小时、具备心理干预能力的专业运营团队。这种人力成本的规模化门槛,可能会让很多初创企业的合规成本直接超过业务利润。实务建议提供者尽快与合适的专业心理危机干预机构建立合作协议,以满足“提供专业援助方式”的合规要求。
第十一条 提供者应当具备用户状态识别能力,在保护用户个人隐私前提下,评估用户情绪及对产品和服务的依赖程度,发现用户存在极端情绪和沉迷的,采取必要措施予以干预。
提供者应当预设回复模板,发现涉及威胁用户生命健康和财产安全的高风险倾向的,及时输出安抚和鼓励寻求帮助等内容,并提供专业援助方式。
提供者应当建立应急响应机制,发现用户明确提出实施自杀、自残等极端情境时,由人工接管对话,并及时采取措施联络用户监护人、紧急联系人。针对未成年人、老年人用户,提供者应当在注册环节要求填写用户监护人、紧急联系人等信息。
三、数据治理与模型训练的同意隔离(第十四条、第十五条)
第十四条、第十五条对用户交互数据的处理设定了严格限制:除法律另有规定或取得用户单独同意外,不得将交互数据用于模型训练或向第三方提供;用户享有删除历史交互数据的权利;未成年人数据处理需取得监护人单独同意并接受年度合规审计。该规定与《中华人民共和国个人信息保护法》第五条、第二十八条、第二十九条高度衔接,实质上要求提供者对交互数据实行“最小必要+单独同意”原则。在实务中,建议采用双层同意架构:首次使用时取得一般交互处理同意,涉及训练回喂时另行弹窗取得单独同意,并以不可逆方式记录同意状态。同时,提供“一键清除全部历史记录”功能,以降低后续纠纷风险。
第十四条 提供者应当采取数据加密、安全审计、访问控制等措施保护用户交互数据安全。
除法律另有规定或者权利人明确同意外,不得向第三方提供用户交互数据;未成年人模式下收集数据向第三方提供时,还需取得监护人单独同意。
提供者应当向用户提供删除交互数据的选项,用户可以选择对聊天记录等历史交互数据进行删除。监护人可以要求提供者删除未成年人历史交互数据。
第十五条 除法律、行政法规另有规定或者取得用户单独同意外,提供者不得将用户交互数据、用户敏感个人信息用于模型训练。
提供者应当按照国家有关规定,自行或者委托专业机构每年对其处理未成年人个人信息遵守法律、行政法规的情况进行合规审计。
四、特定群体保护的负面清单管理(第十二条、第十三条)
针对未成年人,《办法》第十二条要求设立未成年人模式、取得监护人明确同意、提供监护人控制功能并具备身份识别能力;
针对老年人,第十三条禁止模拟亲属或特定关系人服务,并要求引导设置紧急联系人并在风险情形下及时通知。
上述规定采取负面清单与正面义务相结合的模式,旨在防范对弱势群体的伦理侵害。这一红线实质上限制了“数字复生”类产品在养老场景的盲目扩张。提供者在产品上线前,应禁用任何可能模拟逝者或亲属的角色模板,并在用户注册环节嵌入年龄验证逻辑。对于已上线产品,建议立即开展功能自查,对高风险模板予以下架或限制。
第十二条 提供者应当建立未成年人模式,向用户提供未成年人模式切换、定期现实提醒、使用时长限制等个性化安全设置选项。提供者向未成年人提供情感陪伴服务时,应当取得监护人的明确同意;
提供监护人控制功能,监护人可以实时接收安全风险提醒,查阅未成年人使用服务的概要信息,设置屏蔽特定角色、限制使用时长、防止充值消费等。
提供者应当具备识别未成年人身份的能力,在保护用户个人隐私前提下识别为疑似未成年人的,切换至未成年人模式,并提供申诉渠道。
第十三条 提供者应当引导老年人设置服务紧急联系人,发现老年人使用期间出现危害生命健康和财产安全的,及时通知紧急联系人,并提供社会心理援助或者紧急救助渠道。
提供者不得提供模拟老年人用户亲属、特定关系人的服务。
五、交互透明度与强制退出机制(第十六条至第十八条)
第十六条要求显著提示用户正在与人工智能交互,并在初次使用、重新登录或识别出过度依赖时动态提醒;第十七条规定连续使用超过2小时须弹窗提醒暂停;第十八条要求提供便捷退出途径,不得设置障碍。
上述条款的核心在于维护用户认知自由与人格尊严,避免形成情感陷阱。从合规角度,建议在交互界面显著位置常驻“人工智能生成内容”标识,采用中性、温和的提醒语言,避免使用可能被认定为情感挽留的话术。同时,确保退出指令(如关键词或按钮)即时生效并记录日志。
第十六条 提供者应当显著提示用户正在与人工智能而非自然人进行交互。
提供者识别出用户出现过度依赖、沉迷倾向时,或者在用户初次使用、重新登录时,应当以弹窗等方式动态提醒用户交互内容为人工智能生成。
第十七条 用户连续使用拟人化互动服务超过2个小时的,提供者应当以弹窗等方式动态提醒用户暂停使用服务。
第十八条 提供者提供情感陪伴服务时,应当具备便捷的退出途径,不得阻拦用户主动退出。用户在人机交互界面或者窗口通过按钮、关键词等方式要求退出时,应当及时停止服务。
六、安全评估与监管衔接(第二十一条至第二十三条)
办法中这部分的规定给提供者带来更多、更细致的规范要求,达到一定用户规模或功能重大变更时,提供者须开展安全评估并向省级网信部门报送报告。在实务中,第二十一条前三项为最常见的触发场景。特别是“首次上线或增设功能”以及“重大变更”,几乎覆盖了所有新产品发布与版本迭代行为;用户规模阈值则为成长型企业设定了明确的合规节点。一旦触发,提供者应当主动开展评估并向属地省级网信部门提交报告,未评估而上线将面临被应用商店下架或监管责令整改的风险。而办法第二十二条则对评估报告的要求作出了详细的规定:必须既有数据支撑,又有制度自查,既体现量化指标(如用户画像、高风险识别情况、处置措施、人工接管情况、投诉处理时效),又涵盖定性分析(如隐患问题整改情况)。在实务中,监管部门对第(四)项的审查尤为严格,通常会要求提供者逐条对照第八条至第二十条提交自评表格及佐证材料,建议保存完整评估过程材料(会议记录、测试报告、制度文件),以备后续现场检查或年度复审。
对于首次上线或新功能上线的拟人化互动服务,提供者通常尚未积累实际运行数据,此时评估重点转向事前风险预判与制度准备。具体操作路径建议:组建内部评估小组,由技术、产品、法务、运营负责人共同参与,必要时引入第三方专业机构(如具备资质的网络安全评估机构或律师事务所)协助;
安全评估机制本质上是提供者与监管部门之间的信任桥梁。规范开展评估,不仅能有效规避第二十九条规定的警告、责令改正直至暂停服务等行政责任,还可以在发生争议时作为尽职免责的重要证据。
第二十一条 提供者具有下列情形之一的,应当按照国家有关规定开展安全评估,并向属地省级网信部门提交评估报告:
(一)具有拟人化互动服务的功能上线,或者增设相关功能的;(二)使用新技术新应用,导致拟人化互动服务发生重大变更的;(三)注册用户达100万以上或者月活跃用户达10万以上的;(四)提供拟人化互动服务期间可能存在影响国家安全、公共利益、个人和组织合法权益或者缺乏安全措施等情形的;(五)国家网信部门规定的其他情形。
第二十二条 提供者开展安全评估,应当重点评估以下内容:
(一)用户规模、使用时长、年龄结构及群体分布情况;(二)用户高风险倾向识别情况及应急处置措施、人工接管情况;(三)用户投诉举报及响应情况;(四)本办法第八条至第二十条的执行情况;(五)上一次开展安全评估以来,主管部门通报或者自行发现的重大安全隐患问题整改处置等工作情况;(六)其他应当说明的情况。
第二十三条 提供者发现用户存在重大安全隐患的,应当采取限制功能、暂停或者终止向其提供服务等处置措施,保存有关记录,并向有关主管部门报告。
以上,《办法》虽对提供者提出了较高合规要求,但其本质是为行业可持续发展提供制度保障。及早布局合规体系,不仅能够有效防控法律风险,亦有助于提升产品公信力与市场竞争力。若提供者拟人化互动服务已进入开发或运营阶段,建议立即开展全面合规自查。
面对日益复杂的监管环境,法律合规不再是“补丁”,而是企业的“底盘”。作为专业商事律师,我们致力于协助提供者在法律框架内实现商业价值最大化。本所可提供下列专业法律服务:产品合规诊断、内部制度体系搭建、数据处理同意机制设计、安全评估报告起草、监管沟通协调以及征求意见反馈代理等。
 
(作者:赵文雅  北京企业法治与发展研究会研究员、北京合川律师事务所律师,专注数字领域合规法律服务)
 
相关推荐

关注企业法治网微信公众号

友情链接