안전한 인공지능(AI)을 위해 강한 정부 규제가 필요하다고 앞장서 주장해 온 앤트로픽의 주장이 오히려 그 규제 대상이 되는 역설적 상황에 놓였다.

위험한 AI 모델 배포를 정부가 차단할 권한을 가져야 한다고 공개 제안한 지 며칠 만에 최신 AI 모델 '페이블5(Fable 5)'와 '미토스5(Mythos 5)' 서비스가 수출통제 지침에 따라 전면 중단됐기 때문이다.

14일 관련 업계에 따르면 앤트로픽은 최근 미국 정부의 수출통제 조치에 따라 페이블5와 미토스5 제공을 중단했다. 

이번 사태가 더 주목받는 이유는 앤트로픽이 불과 며칠 전까지만 해도 고위험 프론티어 AI 모델에 대해 정부가 직접 개입할 수 있어야 한다는 입장을 공개적으로 강화해 왔기 때문이다.

우리 모델은 '무기'…스스로 규제 명분 쥐여준 앤트로픽

앤트로픽은 신형AI를 출시한 지난 10일 공식 홈페이지를 통해 '고도화된 AI 프레임워크(Advanced AI FRAMEwork)'를 발표하고, 정부가 파국적 위험을 지닌 AI 모델의 배포를 차단하거나 억제할 법적 권한을 가져야 한다고 제안했다. 적용 대상은 일정 규모 이상의 컴퓨팅 자원으로 훈련되고, AI 관련 매출이나 연구개발 지출이 일정 수준을 넘는 기업의 프론티어 모델이다.

이들 기업에는 사전 테스트, 독립 평가, 보안 체계 구축, 지속적 공시 등을 의무화하고, 파국적 위험이 확인될 경우 정부가 절차적으로 배포를 막을 수 있어야 한다는 게 핵심이다.

같은 날 다리오 아모데이 앤트로픽 최고경영자(CEO)도 개인 글 'AI 발전에 대응하기 위한 정책 제언(Policy on the AI Exponential)'을 통해 "이제는 투명성을 넘어 더 엄격하고 구속력 있는 규제를 도입해야 할 때"라고 강조했다. 그는 AI가 1~2년 안에 '데이터센터 속 천재들의 나라' 수준에 이를 수 있다며, 기존의 자율 규제나 투명성 중심 접근만으로는 위험을 다루기 어렵다고 주장했다.

무엇보다 주목받는 부분은 정책 전환의 근거로 다름 아닌 내부 AI 모델 '클로드 미토스 프리뷰'를 직접 들었다는 점이다.

아모데이 CEO는 "미토스 프리뷰가 글로벌 사이버보안 환경을 실제로 교란시켰고 프론티어 모델이 금융권과 핵심 인프라, 국가안보에 실질적인 위험을 초래할 수 있음을 보여줬다"고 밝혔다.

더불어 "AI를 둘러싼 대중의 우려 역시 단순한 마케팅 문제가 아니라, 위험이 실재한다는 점을 정확히 인식한 결과"라고 강조했다.

관련 업계에서는 이를 두고, 주요 AI 기업 수장이 자사 프론티어 모델이 국가안보 차원의 위협이 될 수 있다고 공개적으로 인정한 이례적인 발언이라는 평가가 나왔다.

실제로 앤트로픽은 미토스 프리뷰를 처음 공개할 때부터 이를 일반 대중에게 풀지 않고 제한된 프로그램 안에서만 운영해 왔다. 보안 블로그에서도 미토스 프리뷰가 보안 비전문가조차 하룻밤 사이 원격 코드 실행 취약점 익스플로잇을 만들 수 있을 정도로 강력하다고 설명하며 별도 안전장치를 더한 모델에서만 기능을 제한적으로 개방하겠다고 밝힌 바 있다.

결국 AI 위험성을 가장 먼저 강하게 규정한 주체는 외부 경쟁사나 정부가 아니라 앤트로픽이 스스로였다.

실제로 이러한 발언이 나온 이후 아마존 측 연구진의 보안 취약점 보고가 미국 당국에 전달됐고, 결국 페이블5와 미토스5에 대한 차단 조치가 내려졌다. 결과적으로 앤트로픽이 먼저 제시한 "위험한 모델은 정부가 통제할 수 있어야 한다"는 논리가 가장 먼저 자사 모델에 되돌아온 셈이 됐다.

"사소한 취약점일 뿐?"…'내로남불' 비판 직면

앤트로픽은 이번 조치가 요구해 온 규제 원칙과는 다르다고 반발하고 있다. 회사 측은 수억 명에게 배포된 상용 모델을 회수해야 할 정도의 사안으로 보기에는 발견된 문제가 극히 제한적인 탈옥 가능성에 불과하다고 주장했다. 또 이런 기준이 업계 전반에 광범위하게 적용될 경우 신규 프론티어 모델의 출시 자체가 사실상 마비될 수 있다고 지적했다.

이어 정부가 안전하지 않은 배치를 차단할 수 있다는 원칙 자체는 인정하면서도, 그 조치는 어디까지나 투명하고 공정하며 명확하고 기술적 사실에 근거한 법적 절차의 일부여야 한다고 강조했다. 이번 수출통제 조치는 그 같은 원칙에 부합하지 않는다는 것이 회사 측 입장이다.

이러한 대응을 두고 업계에서는 모순을 지적하는 목소리가 나왔다. 앤트로픽은 그동안 정부에 강한 AI 차단 권한을 부여해야 한다고 주장하는 한편 자사 AI 모델의 위험성을 사실상 무기급 위협처럼 부각해왔다. 정작 그 규제가 자사에 적용되자 '기초적인 수준의 취약점'이라며 반발한 것은 말과 행동이 어긋난다는 비판이다.

백악관 AI 자문역 데이비드 색스도 공개 글을 통해 앤트로픽을 강하게 비판했다. 특히 앤트로픽 스스로 미토스를 사이버무기에 준하는 위험 모델로 규정하고 정부 규제 필요성을 강조해 온 만큼 취약점의 크고 작음을 떠나 이를 즉시 보완하는 것은 회사의 책임이라고 지적했다.

그는 "앤트로픽이 블로그에서 이 탈옥이 심각하지 않다고 해명한 것은 정부의 판단과 다르다"며 "사이버무기 작동을 가능케 하는 탈옥을 "심각하지 않다"고 표현하는 것은 앤트로픽이 표방해온 AI 안전 기업 브랜드와 부합하지 않는다"고 비판했다.

피터 기르누스 사이버보안 연구자도 앤트로픽이 그동안 내부 모델이 너무 위험해서 광범위하게 공개할 수 없다는 식으로 홍보해온 전략 자체가 결국 정부가 차단 근거로 삼을 수 있는 법적 명분을 회사가 스스로 만들어준 셈이라고 평가했다.

허가제 신호탄 되나…AI 통제 중앙집중화 우려

반면 앤트로픽이 제기한 문제의식 자체는 타당하지만 이를 정부가 집행한 방식은 과도했다는 평가도 나온다.

앤트로픽이 제안한 규제는 컴퓨팅 인프라 규모, AI 관련 매출, 연구개발(R&D) 지출 등 일정 기준을 넘는 모델에 대해 사전 시험과 독립 평가, 공시 의무를 부과하고, 그 결과 파국적 위험이 확인될 경우 절차적으로 배포를 막는 구조였다.

그러나 실제로는 짧은 기한 안에 외국 국적자 접근을 전면 차단하는 형태의 수출통제 지침이 내려졌다는 점에서, 앤트로픽이 상정한 절차적 규제와는 거리가 있었다는 평가다.

일각에서는 이번 조치가 프론티어 모델에 대한 새로운 허가제가 마련될 신호탄이 될 수 있다는 전망도 내놓는다. AI기업은 유사한 제재를 피하기 위해 백악관이나 행정부가 제시하는 기준을 선제적으로 따를 수밖에 없게 될 가능성이 크기 때문이다.

애덤 티어러 미국 R스트리트연구소 기술·혁신 담당 수석연구원은 이번 사안을 두고 앤트로픽이 스스로 광범위한 AI 통제 논리를 키워 온 만큼 "'어리석은 짓을 하더니 결국 그 대가를 치렀다'는 반응이 나올 수 있다"고 지적했다. 다만 이번 결정을 단순한 논리적 모순 관점으로 봐서는 안 된다고 선을 그었다.

그는 "이번 조치는 더 큰 AI 전략과 목표에 어떤 영향을 미치는지를 기준으로 평가해야 한다"며 "그런 점에서 이번 결정은 정말로 터무니없다(outrageous)"고 비판했다.

이어 "정부가 도대체 어떤 방식으로 이 특정 모델을 사용하는 모든 사람을 검증해 규정 준수를 확인하겠다는 것인지 그 발상 자체가 이미 커다란 경고 신호"라고 지적했다.

더불어 정부가 AI 생태계 전반을 좌우하게 되는 흐름에 대해서도 깊은 우려를 표했다. 이번 차단 조치를 비롯해 국가안보국(NSA) 쪽으로 통제 권한을 넘긴 행정명령, 국가가 AI 기업 지분 확보에 관여하는 방안에 대한 논의 등이 맞물리면서 AI 통제권의 중앙집중화가 뚜렷하게 강화되는 국면이라는 것이다. 

관련기사

AI 기업이 혁신 경쟁보다 정부 기준과 정치적 리스크를 더 의식하게 될 경우, 산업 성장 역시 지체될 수밖에 없다는 지적이다.

애덤 티어러 연구원은 "기술 가속화와 AI 패권 경쟁에서 승리를 최우선 과제로 내세워 온 트럼프 행정부가 오히려 이런 강력한 통제 강화를 주도하고 있다는 점이 가장 아이러니하다"고 비판했다.