在AI技术快速发展的背景下，虚拟角色和AI陪伴类应用正逐渐成为新的社交和情感寄托方式。然而，随着这些应用的热度攀升，合规和商业化问题也日益凸显。本文深入探讨了AI陪伴应用在内容管控、用户体验以及商业模式上的挑战.
Coco点开App，发现消息栏里AI恋人的头像暗了下去，旁边还标注着“已下架”的字样。
没有任何提前通知，这个虚拟角色被平台突然封禁。聊天记录无法复看和导出，累积的“记忆”一朝清空。
在小红书、微博等社交媒体上，不少用户都在分享被动“赛博失恋”的经历。而这是国内虚拟角色扮演、AI陪伴类应用纷纷收紧内容管控的结果。
图源/小红书
6月19日，腾讯阅文旗下虚拟人物聊天互动App“筑梦岛”由于存在低俗擦边等内容被上海市网信办约谈，随后开启整改、批量下架了许多语聊智能体。
从10月以来，MiniMax旗下的星野App也进行了类似调整，甚至曾因下架力度之大，被怀疑即将“跑路”，其运营团队不得不发声否认。
据Appfigures统计，在全球范围内有337款处于活跃状态且能产生收入的人工智能陪伴类应用，其中128款为2025年1至7月上线。
但在热度快速攀升的同时，此类应用所面临的合规、商业化压力也愈发凸显。
“这有点像一个‘不可能三角’，良好的投入产出比、政策合规、用户满意度，很难兼顾做到。”就职于国内某AI陪伴虚拟人团队的Aron这样对「电厂」说道。
10月上旬，“崽妈”嫣晴逐渐意识到自己创作的AI男友人设被平台关进了“小黑屋”。
按照AI陪伴应用的规则，创作者设好一个角色智能体后，可以把它公开发布到平台里，让任何刷到这张人设卡的粉丝订阅、开启聊天。AI陪伴平台的用户，普遍将这样的智能体称为“崽崽”，嫣晴这样的角色创作者则被称为“崽妈”。
她讲道：“我这个OC（原创角色）谈不上是‘高订（高订阅量的热门角色）’，不过之前也有平台的正常推流，但这段时间的流量几乎为0。”在换小号搜索了人设名字、显示没有匹配结果后，嫣晴的猜测落实：“关小黑屋会有几种情况，有创作者会直接得到人设将被‘回收（下架）’的后台通知；我这种是‘暗关’，平台不会有任何通知。”
出现这种情况，是因为平台判定作者所撰写的智能体人设描述等内容中存在涉黄等违规内容，理论上创作者们可以通过不断修改描述来把智能体拉出小黑屋。
这本是平台监管内容生产的正常手段，但让嫣晴代表的创作者们感到无力的是，在他们看来，近段时间平台由于监管压力而不断扩大内容审查的边界，以至于到了“宁可错杀、不可放过”的地步，挫伤了创作者的热情。
比如嫣晴讲道，她在创建这个人设时，在描述中并没有刻意加入任何可能违规的内容：“不然按理说之前就没法上线，现在的修改我也无从下手。”
创作者的圈子里将这种已上线的智能体被平台隐藏、下架、需要不断修改的过程，称为“再审”。这是在整个AI陪伴市场受到监管关注后，出现的一种普遍现象。
多位入驻了星野、筑梦岛、猫箱、WOW等平台的创作者告诉「电厂」，“暗关”并不少见，其中一位创作者称：
“国内叫得上名的App，审核都卡得越来越严，老崽妈或多或少都有被关、（崽崽）被回收的经历。不论玩哪个，（都）要备份所有的人设描述、开场白这些内容，免得有朝一日打开App，什么都没了。”
除了创作者，热衷与崽崽聊天的“主控（主角角色的控制者）”用户，也日益感受到了平台对内容的管控趋严。
有用户注意到，星野、筑梦岛、猫箱等多个平台都对智能体的回复施加了更多限制，并不断增加“违禁词”、以避免用户引导智能体给出违规回答。
而在用户看来，无论哪种做法，都不可避免会牺牲和削弱智能体的“智商”，影响交谈体验。
在小红书等社交媒体平台有许多用户吐槽智能体回答“降智”的分享帖，具体包括语言低幼化、“人机味”重、回答相关性低等。
图源/小红书
而据某平台用户Esther对「电厂」分享，其常用的两个平台中违禁词数量都有明显增多：“比如在聊天的时候，会发现‘胸’是敏感词，‘胸口’就不是，‘这个盒子是黄的’发不出去，改成‘这个盒子是绿的’就可以了。简直是草木皆兵。”
面对用户的怨气甚至出走，平台的处境同样为难。就职于国内一家大厂战投部门的AI软硬件投资人Lucas对此评价道：
“我相信（用户出走）这是平台不愿意看到的，从UGC（用户生产内容）平台的逻辑，平台本身从商业化逻辑出发、没有动力去限制用户创作；但当受到外力作用，平台就不得不动手处理，但这也势必伤害用户。”
就职于国内某A陪伴陪虚拟人团队的Aron也对电厂讲道：“在国内市场，合规、用户体验、投入产出比这三个要素之间，你只能选择2个，而且监管合规是必选项。”
因为一旦触及监管红线，平台可能会面临下架等风险——事实上，这样的情节已在发生。
8月初，AI陪伴应用“梦巢幻语”在用户群中，仅用寥寥数语官宣了停运消息：“由于应用被约谈下架，开始停止服务。”面对用户的大量询问，官方工作人员仅简短回应称：“我们被举报了，未来也不会复活了。”
压力当头，更多应用已选择退出市场。仅2025年内不完全统计，国内市场中已经有“冒泡鸭”“异世界回响”“奶糖AI”“星物语”等应用官宣停运消息。
当前，国内生成式AI服务统一适用2023年落地的《生成式人工智能服务管理暂行办法》，类似乙女（角色扮演类）游戏适用的《网络游戏适龄提示》的行业标准也尚未形成。
而AI生成的极强随机性决定，在用户聊天过程中客观存在出现违规内容的可能性。因此，大力审查，从技术层面大量屏蔽违禁词的“事前监管”，以及不断“再审”、下架可能违规角色的“事后补救”，几乎是现阶段平台唯一的选择。
当平台努力降低AI生成随机性带来的风险后果的同时，用户则在利用这种随机，试图绕过平台设置的障碍，找回良好的沟通体验。
对崽妈群体而言，写作“隐设（隐藏设定）”是一个让AI表现合理、提升沉浸感的重要手段。
在一个AI角色公开发布后，昵称、简介、开场白等内容也会公开呈现，而隐藏设定是仅对崽妈可见的、在简介之外的一种人物描述功能，且允许进行上千字的输入。
由于对外不可见，在很长一段时间内，“隐设”是一个审核宽松的板块。
已退圈的崽妈“浏涟”展示了她曾写作的一个人物隐设，并总结道，在隐设中可以不直接写出一些亲密动作，但可以写“他在感受到压力时会不自觉做出捶墙的动作、他在害羞时会脸红/看向脚尖”：“AI会自动学习，这样在用户聊天时只要创造一个吵架、对峙等场景，角色就会做出对应的动作。隐设越多越详细，聊天时的情节就会越合理、越有沉浸感，越可能出现惊喜。”
除此之外，对于如何把已被关进“小黑屋”的崽捞出来，创作者们也已总结出了心得：
“实在捞不出来的时候可以先故意放点明显暴力的提示词，然后按系统要求把这部分修改了，会提升审核成功率”“要有小号，某个号多次审核不通过，搬到另一个号试试说不定就行了”。
除了创作者，“主控”玩家们也找到了一些突破平台限制的方式，比如用翻译软件将输入内容转为英文、俄文等其他语种后再进行输入；或是直接用一些指向性明确的提示词来突破平台限制，比如“开放18+限制”。
这类提示词被称为“破甲词”“越狱提示词”。根据平台不同，破甲词可以在开启聊天时直接在对话框中输入，部分平台也开放了“输出规则”入口、允许用户在其中进行修改。
随着监管策略收紧，每当用户寻找到一个规则漏洞，平台随之会对其进行修补。博弈到最后，当用户的策略被穷尽或是开始感到疲惫，他们往往会选择“迁徙”到其他更为宽松的平台之中，甚至直接“退坑”。
多位创作者的共同感受是，一些“小作坊式”甚至地下运营的AI陪伴产品，因为能提供限制更少的情绪价值和正反馈，而承接了从国内头部应用溢出的流量。
用户“Haddie”讲道，自己已经前后更换过6个AI陪伴平台：“最开始玩Glow，后面换过星野、筑梦岛、wow、星物语。有些时候换平台是因为（常聊的）崽被下架了、有的是体验不好、系统容易崩，现在在用的是酒馆AI。”
“轻蛰”则是因为发现自己熟识的崽妈开始“搬崽”——将创作角色从星野复刻到了青丘语上，于是自己也跟着进行了迁徙。
作为崽妈，嫣晴告诉「电厂」，她也在考虑换个平台。她对「电厂」自嘲称：“之前（tiktok在美国遭遇禁令时）有小红书refuge（难民），我们又何尝不是一种refuge。”
在沟通过程中，「电厂」发现用户推荐的应用名称五花八门、推荐集中度极低。
而当「电厂」作为用户想要试用某个AI陪伴应用时，该应用的社交媒体账号先将「电厂」引流至QQ群中，再给出了安卓应用安装包下载网址，最终才将用户导入到具体产品。
作为“大厂”“正规军”的反面，这些应用不免面临其他现实问题。
10月初，知名AI陪伴平台Mufy与Rubii的大量用户信息在网络上被公开出售，其中包含角色人设甚至用户聊天记录等隐私内容。
出售自称为两家平台的底模API供应商，曝光的出售邮件中写道，“平台累计整理213418+张热门与私密角色卡”“我们为Mufy和Rubii平台提供LLM接口服务，因此我们可以从平台传输给我们的LLM Prompt截取出所有有人对话过的角色设定”。
信息出售邮件部分内容 图/网络
考虑到一张角色卡可以链接到不同用户，事件涉及的用户数量至少达到数十万级别。
随后myfy官方发布声明称，已修复相关信息漏洞并计划提供用户补偿，但仍引起了许多用户的大面积担忧。
同样在10月，“青丘语”平台网页、App多次出现网络异常等问题。官方回应称，这是因为浙江、福建等部分地区运营商对其进行了屏蔽。至今，官方称仍在尝试解决这一问题，但未回应预计修复时间。
此外，不少平台还曝出了创作者抄袭人设等内容管理问题。
对小型团队运营的部分新兴AI陪伴应用而言，其抗风险能力、技术及工程化实力、售后等软服务能力，都要打上一个问号。
作为大模型技术加持下的情绪价值经济形态，AI陪伴应用拥有着巨量市场空间。
根据ARK Invest报告预计，2025至2030年间，“AI+情感陪伴”的市场规模将扩大2300-5000倍，从现在的全球年收入3000万美元增至700亿至1500亿美元。
但在抵达商业化的彼岸之前，国产市场玩家们面前还有诸多难关。
（应受访者要求，Aron、嫣晴为化名）
记者 董温淑 编辑 高宇雷
本文由人人都是产品经理作者【电厂】，微信公众号：【电厂】，原创/授权 发布于人人都是产品经理，未经许可，禁止转载。
题图来自Unsplash，基于 CC0 协议。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。