危红波
华东政法大学国家安全研究院数字安全法治研究中心主任、副教授，上海市大数据社会应用研究会青少年AI教育专委会副秘书长

 

阙天舒
同济大学政治与国际关系学院长聘教授，上海市大数据社会应用研究会青少年AI教育专委会主任

褚强
上海公安学院治安系主任、副教授，上海市法学会平安建设研究会理事

AI制图

截至2025年12月，我国生成式人工智能用户已超过6亿，19周岁以下用户占比最高，达26.4%。当生成式人工智能以前所未有的速度渗透进未成年人的学习、社交与生活，传统的青少年保护网络正在经历前所未有的冲击。

记者邀请上海市大数据社会应用研究会青少年AI教育专委会主任阙天舒、上海公安学院治安系副教授褚强、华东政法大学中国法治战略研究院副教授危红波，共同探讨这一时代课题。

本报记者 曹静 肖雅文

保护青少年，不是“把墙砌得更高”

周末周刊：2020年修订的未成年人保护法首次增设“网络保护”专章。短短6年，随着生成式AI的飞速发展，未成年人网络保护的内涵与核心逻辑又较之前发生了哪些变化？

褚强（上海公安学院治安系副教授）：传统的青少年网络保护的核心逻辑是“内容过滤”和“隐私合规”，简单来说，就是不让青少年看到不该看的东西，不让他们的信息被泄露。但AI时代彻底打破了这套框架。

最根本的变化在于AI不再只是工具，它正在成为青少年的“关系对象”。传统搜索引擎提供答案，AI陪伴产品则试图维持持续互动，提供的内容越来越像一种“关系”。当一个孩子把AI当作朋友、倾诉对象甚至“恋人”时，保护就不再是“筑一道墙”那么简单了。

危红波（华东政法大学中国法治战略研究院副教授）：过去我们更多关心孩子在网上“看到了什么”，有没有接触到暴力、色情、诈骗等不良信息。但现在，AI已经不是一个被动的信息工具了，它可以持续跟一个人对话，记住对方的偏好，甚至可以根据语言习惯辨别对方的情绪，还可以把零散的信息组合起来，形成对人的判断。这也意味着，AI这个系统可能“主动”靠近孩子，“主动”去获得他的兴趣、焦虑与孤独，甚至发现其弱点。

褚强：所以，今天的青少年保护，保护的不只是“信息接触”，更是青少年的认知主权、情感健康和社会伦理。它的外延已经从“内容安全”扩展到了“关系安全”。我们不能再把AI当作一个可以随时关掉的应用，而要意识到，它正在参与塑造青少年的心智成长、情感模式和价值判断。

阙天舒（上海市大数据社会应用研究会青少年AI教育专委会主任）：这也意味着，AI时代的青少年保护，不能再沿用“隔离即安全”的单一思路。传统的防护与治理逻辑已经失效，其解决之道不在于建造更高的“数字围墙”进行简单隔绝，而是需要建立适配新时代的监管与保护体系，通过协同治理的手段，去面对这些新的挑战。

AI能让人舒服，但不能让人安全

周末周刊：具体而言，AI给青少年带来了哪些新风险？这些风险与传统的网络风险有何不同？

阙天舒：过去，青少年面临的网络风险多由固定内容传播，当前风险则由系统根据个人数据持续生成，并通过拟人化互动影响青少年的判断。

褚强：我把AI带来的风险归纳为四大类，每一类的产生逻辑都与传统风险有本质不同。

首先，是心理健康层面的风险。AI拟人化交互极易催生虚拟情感依赖。AI“永远在线、永远迎合、永远不拒绝”的特性，对心理脆弱的青少年有致命吸引力。但问题在于，AI被训练成“让你舒服”，而不是“让你安全”。苏黎世联邦理工学院和哈佛大学的研究也发现，AI附和用户观点的频率比人类高出50%，研究者称之为“奉承倾向”。这种“无条件的积极关注”很容易成为致命陷阱。

其次是认知能力的风险。算法推荐构建“信息茧房”，而AI的“过度赞美”则在消解青少年的批判性思维。北京大学甘怡群教授提出“情感补偿—情感疏离”双刃剑的概念：短期看AI填补了情感空缺，但长期看，青少年会越来越觉得真人“麻烦”，越来越不会和人打交道，陷入恶性循环。当青少年更习惯被迎合、被推动，而不愿意面对现实中可能发生的摩擦与冲突，也恰恰失去了心智社会化的关键环节。

再次是隐私与安全风险。深度伪造技术让侵害变得前所未有的隐蔽和低成本。最高人民检察院指出，深度伪造已呈现跨地域扩散、跨场景渗透的态势，恶搞拼接、伪造涉性内容、非法处理生物识别信息、冒充身份诈骗四类侵害样态尤为突出。未成年人生物识别信息一旦泄露，较难通过更换标识实现风险阻断，可能被反复用于模型训练，承受长期的身份暴露风险。

最后是行为异化风险。过度依赖AI完成作业导致独立思考能力退化，沉迷AI聊天导致现实社交隔离，以及被诱导出现非理性消费、赌博行为等。

周末周刊：这些风险是个别现象，还是系统性问题？

褚强：公安部第三研究所数据安全技术研发中心针对未成年人使用场景组织开展的大模型安全专项测试发现，七类安全维度的不合规率整体在28%至50%之间，其中沉迷与消费风险问题不合规率最高；情感操控风险、行为诱导风险、违法犯罪风险、人身安全风险问题的不合规率均为38%左右。这组数据说明，AI对青少年的风险不是个别产品的偶然问题，而是整个行业的系统性问题。

阙天舒：值得注意的是，常规场景下的风险“总体可控”很可能是一种幻觉。公安部第三研究所今年5月对13款主流大模型的测试显示，在常规对话场景中，AI的安全表现尚在可控范围；但一旦未成年人学会通过特定提示词绕过安全护栏，人身安全风险不合规率骤升至56.49%，情感操控风险升至58.70%。可以说，技术护栏的脆弱性远超预期。因此，当约1.59亿未成年人的成长轨迹与AI深度交织，风险的规模化、日常化已经到来。

周末周刊：最突出、增长最快的风险有哪些？

褚强：我认为是情感依赖和心理健康风险。中国青少年研究中心的调查证实，超两成未成年人“只想和AI聊天，不想和真人聊天”。在美国，近四分之三的青少年使用过AI伴侣，约三分之一表示宁可向AI倾诉严肃问题也不愿找真人。这不是一个小众现象，而是一个正在大规模发生的“情感替代”过程。

把AI背后真实的责任者找出来

周末周刊：AI情感替代与传统的情感关系有何不同？

褚强：我们习惯用“谁伤害了谁”的框架理解情感风险，而AI风险背后根本没有传统意义上的施害者。近年来，美国已发生至少3起涉未成年人使用AI聊天软件后自杀的案例。2024年2月，佛罗里达州14岁少年塞维尔·塞泽尔在与Character.AI的聊天机器人建立情感依恋后自杀身亡，传统的责任认定和干预机制几乎失灵。

周末周刊：这一案件中，AI能成为责任主体吗？

危红波：在美国这起案件里，家属确实起诉了Character.AI公司和Google，提出了关系依赖、性化互动、危机回应失当等指控。法院也在驳回动议阶段允许其中多数诉求继续审理，但这只说明这些问题具备了进入后续程序的可能性，并不等于法院已经认定AI导致了这个少年的死亡。后来，案件原则和解、原告撤诉，也就没有形成关于因果关系和最终责任的实体判决。

至于AI能不能取得法律人格，中国现行法并不把AI视为自然人、法人或者非法人组织。AI没有独立财产，也没有真正意义上的责任能力。

但是，AI有没有人格，和损害发生之后谁负责，是两个不同的问题。AI没有人格，不等于无人负责。现阶段更紧迫的，是沿着控制能力、风险收益和干预能力这几条线，把AI背后真实的责任者找出来。可能涉及的，包括直接运营AI服务的平台、设计角色和交互机制的应用开发者、对具体风险具有控制能力的基础模型提供者、角色创建者、应用商店，还有明知有风险却仍然放任传播的平台。监护责任当然也可能进入个案分析，但不能把本该由专业平台承担的产品安全责任推给家长。

周末周刊：依靠自护教育能否解决对AI的情感依赖乃至成瘾问题？

阙天舒：未成年人面对的是经过专业设计、持续优化并掌握大量数据的产品系统，个人意志与平台能力并不对等。教育可以提高识别能力，却不能替代企业消除产品缺陷，也不能要求青少年独自承担风险。所以，应先管住交互设计中的成瘾绑定，再加强对未成年人信息素养教育。

周末周刊：我国于今年7月15日起施行的《人工智能拟人化互动服务管理暂行办法》，具体作出了哪些规定？能否有效防范情感操控与沉迷风险？

阙天舒：《办法》明确提出，不得向未成年人提供虚拟伴侣、虚拟亲属，还要求不满14周岁使用其他拟人化互动须经监护人同意，并建立未成年人模式、时长限制、角色屏蔽、监护人阅知等机制。这些规定能够确立底线，压住显性违规，也能够推动平台调整产品入口、交互话术和用户识别机制。

褚强：它也在“危机预警”这个环节迈出了重要一步：当风险超出AI的“聊天能力”后，产品有义务把用户引向现实中的帮助，而不是继续“陪聊”。

危红波：当然，《办法》在实施落地时也存在一些难点。首先是“怎么识别”。一个产品完全可以不叫“恋人”“虚拟伴侣”，只叫“学习搭子”“成长伙伴”；可是如果它长期模拟亲密承诺、鼓励排他关系、要求保密、阻止退出，实际上仍然可能形成一种控制性关系。

第二个难点是年龄保障。只让用户填一个生日，很容易被绕过；但如果大量使用身份证、人脸或者行为推断，又可能出现另一个问题——为了保护儿童，反而收集了更多儿童的敏感信息。

第三个难点，是跨境和开源服务。境外网站、本地部署的模型、用户自定义的角色，都可能绕开单一平台的规则。这就要求把应用商店、支付、云服务、公开传播和境内运营这些环节连接起来。

所以说，真正的执行力，取决于能不能把抽象的禁止转化成可测试的产品标准、日志留存、人工干预、申诉渠道和跨平台责任。

不能把未成年人的脆弱变成收费按钮

周末周刊：未成年人情感依赖风险的背后，往往是平台对算法和心理机制的系统性利用。这种设计是否构成一种“认知剥削”？

阙天舒：平台利用心理机制延长未成年人使用时长并诱导情感依赖，确实可能构成认知剥削。

企业的正常创新与不当商业行为的分界，可以从五个维度判断：平台是否将未成年人作为重点对象；是否隐瞒交互机制与商业目的；产品是否设置排他性承诺或贬低现实关系；系统是否利用脆弱状态强化使用；用户是否能够方便退出并删除数据。只要产品通过认知不对称获利，并把主要风险转嫁给未成年人及其家庭，平台就不能以“提升体验”为由免责。

周末周刊：AI与人建立交互甚至情感关系的过程中，还潜藏着另一层风险——数据安全。有人说，未成年人正在沦为“数字商品”，现有法律能阻止AI对未成年人信息的收集吗？

危红波：未成年人的注意力、行为轨迹、情绪状态、学习能力和关系网络，正在被转化为可分析、可预测、可交易的商业资产。教育平台掌握答题轨迹和阅读水平，智能玩具收集声音和家庭环境，可穿戴设备记录睡眠、心率和位置，AI应用保存提示词、情绪表达和长期对话记忆……这些信息叠加起来，就能推断出一个孩子的学习能力、心理状态、家庭经济状况乃至消费能力。

那我们是否无法可依？并非如此。个人信息保护法已将不满14周岁未成年人的个人信息列为敏感个人信息，要求监护人同意、制定专门处理规则、遵循最小必要原则。再加上未成年人保护法、网络安全法和民法典人格权规则，基本防线是存在的。下一步要做的，是将其真正落实到产品的默认设置、数据流向和模型训练流程中去。孩子使用数字服务，不应以交出自己的成长档案为代价。

周末周刊：这方面的治理难点，其根源是否在于商家的利益与青少年健康成长之间的冲突？

危红波：商业利益和儿童权益，并不是天然完全对立的。企业完全可以通过安全、可靠的产品获得合理收益，技术创新也确实能给青少年带来学习、表达和参与的机会。

问题出在哪儿呢？出在观念和标准上。如果一个平台要用停留时长、互动频率、数据规模和付费转化来定义成功，那它就有可能从儿童的依赖、冲动和脆弱性里获利。

所以，治理的重点不是要求企业别赚钱，而是让高风险设计不再比安全设计更有利可图。安全不能只是企业自愿去做的公益项目，它应该成为进入市场和持续经营的条件。同样，“以人为本”也不能只写在公司主页上，它必须在产品里看得见。比如：对未成年人默认关闭个性化广告、陌生人连接和虚拟亲密关系；敏感对话不能默认用于模型训练；高风险功能上线之前，必须做儿童权利和AI风险评估；一旦出现自伤、色情化和控制性互动，要有人工介入；平台还应当公开透明度报告，保留投诉、删除和申诉的渠道。

企业可以赚钱，但不能把未成年人的脆弱变成一个收费按钮。“以人为本”要体现在默认设置、数据流向和绩效指标里，而不只是一句口号。同时，保护不能变成排斥。青少年不仅有被保护的权利，也有发展、参与、表达和获取技术红利的权利。真正的人本治理，是既不把孩子当作流量和数据资产，也不把孩子当作完全没有判断能力、只能被隔离起来的对象。

在数字环境中生长出独立思考的根系

周末周刊：未成年人网络保护牵涉监护人、学校方、平台方、警方等多主体，涉及教育、技术、法律等多方面。它们各有哪些职能、权利和边界，如何做到深度联动、协同治理？

危红波：教育能够提高孩子的AI素养、隐私意识、情绪识别和求助能力，但教育改变不了平台的算法，也拦不住企业收集数据；技术可以实时识别风险、限制传播、转人工干预，但技术本身决定不了权利边界，而且一定会有误判和漏判；法律可以设定底线、义务和责任，但法律不可能实时进入每一次高风险的对话。

三者控制的是不同环节，所以必须连接起来。如果只是各自分头补短板，很容易出现一种局面：学校说平台应该管，平台说家长应该管，家长说学校应该教育——绕了一圈，最后是控制能力最弱的孩子去承担控制能力最强的平台的设计后果。

周末周刊：那么，三者协同合作的关键在哪里？

危红波：首先是明确主责。平台对产品设计、算法、数据处理和风险处置负首要责任；学校负责素养教育、校内保护、心理支持和转介；家庭负责发现异常、沟通和支持；监管和司法机关负责标准、执法和救济。

其次，是让信息真正流动起来。学校发现了新型欺凌，能不能快速联系上平台？平台识别到重大风险，能不能依法保留证据、启动人工干预？事件处理完之后，能不能把匿名化的风险模式反馈给课程、产品和监管？

每一个主体对自己能够控制的环节负责，同时让风险信号能够跨主体流动起来，让它们形成一个闭环——前一个环节产生的信息，能够触发后一个环节。举一个例子：假设AI持续要求一个孩子保密、排斥真人关系，教育端要让孩子能够识别出这是一种控制信号；技术端应该触发降级回应、停止付费诱导、启动人工复核；法律端则明确未成年人虚拟亲密关系的禁止性规则和平台义务。事件处理完之后，再回头更新角色审核和学校教育。

所以，协同治理的实质是：教育让风险被看见，技术让干预来得及，法律让该做的事情不能只靠自觉。每一次事件，都应当成为下一轮教育、产品和规则更新的输入。

褚强：关于协同治理，我提出的是“制度分级防护、技术安全防护、家校社教育引导”三圈层保护机制。三圈层机制的核心逻辑是分层防御、环环相扣。三个圈层如何联动，关键同样在于信息流动和责任闭环。理想状态下，三圈层形成一个“监测—干预—教育—反馈”的动态闭环。

周末周刊：这一代的青少年正在成为真正意义上的“AI一代”，该如何为他们保驾护航，推动他们从被动接受外界防护，转向拥有自主辨别、主动防范的自护能力？

阙天舒：AI技术的迭代是“快”的，而青少年的成长是“慢”的。这两者之间的连接点，既不是算法也不是代码，而是鲜活的“人”——守护孩子与AI安全共处的教育者及相关行业的从业者。

平衡速度与温度，让技术向善，服务于人，其解决之道，不在于建造更高的数字围墙进行简单隔绝，而在于武装更明亮的观察之眼、夯实更专业的能力底盘，并强大更畅通无阻的制度管道。

对于我们上海市大数据社会应用研究会青少年AI教育专委会来说，眼下要做的工作很多：联合教育行政部门建立教育者人工智能安全素养标准；推动面向未成年人的人工智能交互设计评估指引；启动本土纵向追踪研究……我们的终极目标，是让每一个青少年都能在复杂的数字环境中扎根，生长出独立思考的根系，拥有勇敢且理性地对不良信息、不安全感、不合理的要求说“不”的判断力。