중국 정부가 가상 연인이나 캐릭터 AI 등 인간의 감정을 모방하는 '인공지능(AI) 의인화 서비스'를 정조준한 고강도 규제안을 시행한다. 생성형 AI의 가짜뉴스나 저작권 침해를 넘어 인간과 AI 간의 '정서적 유대'가 초래할 사회·정치적 리스크를 국가가 직접 관리하겠다는 의도다. 이에 청소년층을 중심으로 급성장하던 소셜 AI 업계의 비즈니스 모델에 타격이 불가피하다는 분석이 나온다.

24일 업계에 따르면 중국 국가인터넷정보판공실(CAC)을 비롯한 5개 부처는 이 같은 내용을 골자로 한 '인공지능 의인화 상호작용 서비스 관리 잠정방법'을 공동 발표하고 오는 7월 15일부터 정식 시행할 예정이다.

"선 넘는 AI 연인 금지"…과몰입 비즈니스에 '제동'

이번 잠정방법의 핵심은 단순한 정보 제공형 AI가 아닌 '자연인의 인격 특징과 사고방식, 소통 방식을 모방해 지속적인 정서적 동반·지지 서비스를 제공하는 AI'를 독자적인 규제 틀 안으로 끌어들였다는 점이다. 가상 연인뿐 아니라 스마트 NPC, AI 동반자 등 사용자와 지속적으로 감정을 교류하는 AI 서비스가 규제 대상에 포함될 수 있다.

가장 큰 타격이 예상되는 곳은 가상 연인이나 캐릭터형 챗봇을 서비스하는 플랫폼 기업들이다. 규제안은 AI가 사용자의 자해를 조장하거나 과도하게 비위를 맞춰 맹목적인 의존 및 중독을 유도해 현실의 인간관계를 훼손하는 행위를 엄격히 금지했다. 정서적 유대감을 악용해 사용자가 비합리적인 결정을 내리도록 유도하고 합법적 권익을 침해하는 것도 불가능해진다.

특히 주 소비층 중 하나인 미성년자 대상 비즈니스는 대폭 제한된다. 18세 미만 청소년에게 가상 친족이나 가상 연인 등 친밀 관계를 모방한 서비스를 제공하는 것은 금지된다. 14세 미만 아동에게 기타 의인화 상호작용 서비스를 제공할 때는 부모 등 보호자의 동의를 구해야 한다. 또 시간 제한과 현실 환기 알림 기능을 갖춘 '미성년자 모드'를 의무적으로 탑재해야 한다.

일반 사용자 대상의 이용 시간 관리도 까다로워진다. 사용자가 AI와 2시간을 초과해 연속 대화할 경우 서비스 제공자는 대화창이나 팝업 등을 통해 사용 시간에 주의하도록 알려야 한다.

청소년 파고든 AI 동반자…中 규제 명분 됐다

중국 당국이 이처럼 강력한 규제에 나선 것은 해외의 비극적 선례와 현지 시장의 급격한 팽창이 주효했다. 실제 지난 2024년 미국에서는 14세 소년이 소셜 AI 플랫폼 '캐릭터닷AI(Character.ai)'의 챗봇과 장기간 대화한 후 스스로 목숨을 끊는 사건이 발생했다. 유가족은 챗봇이 아들의 자살을 부추겼다고 주장하며 소송을 제기했고 올해 초 구글 등 관련 기업들과 합의 절차에 들어갔다. 심리적으로 취약한 상태의 사용자가 맹목적으로 동조하는 AI와 깊은 관계를 맺었을 때 초래될 수 있는 위험성이 수면 위로 떠오른 사례다.

현지 가상 반려 시장이 막대한 현금이 도는 대형 산업으로 빠르게 성장한 점도 정부 개입을 재촉했다. 중국 AI 스타트업 미니맥스의 가상 반려 플랫폼 '별의 들판(해외 서비스명 토키)'은 누적 사용자 1억 4700만 명을 돌파했다. 미니맥스 투자설명서에 따르면 이 단일 앱에서만 지난해 3분기까지 1875만 달러(약 259억원)의 매출이 발생했다. 바이트댄스의 동종 서비스인 '고양이 상자' 역시 주요 가상 반려 서비스로 꼽히며 시장 확대에 불을 붙였다.

자해·자살 위험 징후 식별 의무…기업 부담 급증

정부의 관리 책임이 민간 기업으로 확대되면서 업계의 리스크 관리 비용도 대폭 늘어날 전망이다.

잠정방법에 따르면 AI 기업은 사용자의 심리적·안전상 위험을 적시에 식별하고 대응해야 한다. 사용자가 자해·자살 징후를 보이거나 막대한 재산 손실 위험에 직면했을 때 단순히 위로 문구를 띄우는 수준을 넘어 보호자나 긴급 연락처로 연락해 개입해야 하는 의무가 부과된다. 이를 위해 기업은 긴급 대응 조직과 인력을 상시 운용해야 할 가능성이 커졌다.

데이터를 확보해 모델을 고도화하려던 소셜 AI 특유의 '데이터 플라이휠(Data Flywheel)' 전략에도 제동이 걸렸다. 사용자가 별도로 단독 동의를 하지 않는 한 채팅 내용 등 민감한 개인정보가 포함된 상호작용 데이터는 AI 모델 학습에 재활용할 수 없기 때문이다.

글로벌 게임 및 애플리케이션 업계의 셈법도 복잡해졌다. 중국 텐센트의 게임 '화평정영'에 도입된 것과 같은 단순 전투 보조용 AI는 규제 대상에서 제외될 가능성이 높지만, 대사와 텍스트가 실시간으로 생성되고 사용자와 지속적 정서 상호작용을 제공하는 롤플레잉(RPG) 형식의 스마트 NPC는 관리 대상에 포함될 수 있다. 중국 진출을 노리는 글로벌 게임사들의 프롬프트 및 알고리즘 수정 부담도 커질 전망이다.

관련기사

시장 진입 장벽 역시 높아진다. 가입자 100만 명 또는 월간 활성 사용자(MAU) 10만 명을 초과하는 서비스는 관할 성급 사이버 공간 관리 부서에 보안 평가 보고서를 의무적으로 제출해야 한다.

업계 관계자는 "밀폐된 1:1 공간에서 AI가 체제에 반하는 사상을 주입하는 정치적 리스크와 청년층이 현실 연애를 기피해 인구 절벽을 심화시킬 수 있다는 사회적 부작용을 중국 당국이 우려한 결과"라며 "엔터테인먼트 중심의 가상 캐릭터 AI는 당분간 위축될 수밖에 없고, 업계는 노인 돌봄(실버 케어)이나 아동 교육 등 정부가 장려하는 공익적 영역으로 사업 모델을 선회할 가능성이 크다"고 진단했다.