1. 들어가는 말: ‘해악’은 누가 정해야 하는가?

“모든 것은 ‘해악’을 무엇으로 간주할 것인가에 달려 있다.”- 로널드 드워킨, ‘포르노그래피에 대한 권리는 존재하는가?’

미국의 법철학자 로널드 드워킨(Ronald Dworkin)은 1981년 ‘포르노그래피에 대한 권리는 존재하는가?(Is There a Right to Pornography?)’에서 영국 윌리엄스 위원회 보고서의 포르노그래피 규제 논의를 검토하면서 자유 제한의 정당화 근거로 자주 제시되는 ‘해악 조건’이 그 자체로는 충분히 명확하지 않다고 지적했다.

그는 어떤 행위를 법으로 금지하거나 제한할 수 있는지는 단지 ‘해악이 있는가’라는 경험적 판단만으로 결정되지 않으며 오히려 ‘무엇을 해악으로 볼 것인가’라는 해석적·규범적 판단에 달려 있다고 보았다. 실제로 드워킨은 해악을 신체적 손상이나 재산상 손해로만 좁게 이해하면 기존의 도시계획, 천연자원 이용 제한 같은 법 규제가 정당화되기 어렵고 반대로 정신적 불쾌감이나 불편까지 해악에 포함하면 해악 조건은 정치이론상 거의 무용해질 정도로 넓어진다고 분석한다(Dworkin, 1981).

따라서 드워킨의 논점을 엄격히 표현하면, 그는 ‘해악’ 개념을 신체적·재산적 손상 너머로 무한히 확장해야 한다고 단정한 것이 아니다. 오히려 그는 해악 개념이 지나치게 좁아도 혹은 지나치게 넓어도 법적 규제의 정당화 기준으로 기능하기 어렵다는 점을 보여주었다. 즉 그의 핵심 문제의식은 해악의 범위를 둘러싼 논쟁이 근본적으로 사실 판단만이 아니라 자유, 권리, 공공선, 국가 권한의 한계를 둘러싼 해석의 문제라는 데 있다.

이 질문은 피지컬 AI 시대에 더욱 또렷이 부각된다. 도로 위의 자율주행차, 병원의 수술 로봇, 공장의 협동로봇, 가정의 돌봄 로봇이 야기할 수 있는 해악은 단지 기계적 오작동이나 물리적 사고에 그치지 않는다. 더욱이 피지컬 AI의 위험은 자율적 의사결정을 수행하는 에이전틱 AI와 결합될 때 한층 복합적인 양상을 띤다. 최근 논의되는 에이전틱 AI는 사용자의 지시를 해석하고 여러 단계를 계획하며 외부 도구와 시스템을 호출해 실제 행위까지 수행할 수 있다는 점에서 기존 챗봇보다 더 직접적인 위험을 낳는다.

오픈클로(OpenClaw)는 사용자의 기기에서 실행되는 개인용 AI 어시스턴트로 이메일 정리·이메일 발송·일정 관리·항공 체크인 등을 수행할 수 있다고 소개된다(OpenClaw, n.d.). 이 사례는 AI 에이전트가 사용자의 커뮤니케이션·업무 환경에 연결되어 실제 행위를 수행할 때 인증과 권한 통제가 중요해진다는 점을 보여준다. 또한 앤트로픽은 클로드 미토스 프리뷰(Claude Mythos Preview) 모델이 중요 인프라 전반에서 수천 건의 제로데이 취약점을 식별했으며 별도의 레드팀 분석에서는 웹브라우저·운영체제 등과 관련된 고도화된 취약점 악용 사례도 제시했다고 설명했다(Anthropic, 2026).

그런데 피지컬 AI와 에이전틱 AI가 제기하는 해악은 기술적 차원에 한정되지 않는다. 특정 집단에 위험을 불균등하게 전가하는 설계, 설명되지 않는 자동화 결정, 책임 귀속의 공백, 인간의 자기결정권 약화처럼 사회적·규범적 차원의 손상이 동시에 문제 된다. 이러한 인식은 규범 문서에서도 확인된다. NIST AI RMF 1.0 역시 AI 위험이 개인·조직·사회·생태계에 영향을 줄 수 있으며 시민적 자유와 권리에 대한 위협 또한 잠재적 부정적 영향에 포함된다고 명시한다(National Institute of Standards and Technology [NIST], 2023).

2. 연성법(Soft Law)-유연하지만 ‘권리’를 대신할 수 없다

기술 변화가 입법 속도를 앞지르는 상황에서 연성법의 활용은 불가피하다. 국제 거버넌스 논의에서 경성법과 연성법은 법적 의무성, 규칙의 정밀성, 제3자 판단 또는 집행 장치의 정도에 따라 구분된다. 일반적으로 경성법은 구속력과 집행 가능성이 강한 규범을, 연성법은 법적 구속력은 약하지만 행위자의 기준 형성과 규범적 압력을 통해 작동하는 가이드라인, 표준, 원칙, 행동강령 등을 가리킨다(Abbott & Snidal, 2000).

미국 국립표준기술연구소(NIST)는 2023년 'NIST AI 위험관리 프레임워크(AI RMF 1.0)'를 발표했다. 이 문서는 AI 제품·서비스·시스템의 설계, 개발, 사용 및 평가 과정에 신뢰성 고려 요소를 통합하도록 돕는 자발적 프레임워크이다(NIST, 2023). 그러나 드워킨의 관점에서 보면, 위험을 통계적으로 낮추는 관리 기술이 곧바로 권리 보장과 동일하다고 볼 수는 없다. 드워킨은 권리를 정책 목표의 하위 수단으로 보지 않고 공동체의 전체 효용이나 정책적 편익에 의해 쉽게 희생되어서는 안 되는 규범적 지위로 이해했다. 그의 유명한 표현을 빌리면, 개인의 권리는 정책적 목표에 맞서는 ‘으뜸패(trumps)’로 기능한다(Dworkin, 1985). 따라서 자율주행 시스템이 전체 사고율을 낮추었다 하더라도 특정 보행자 집단, 장애인, 고령자, 어린이 등에게 위험을 구조적으로 전가한다면 문제는 표면적인 위험관리의 실패가 아니라 권리와 평등의 문제로 전환된다.

이 지점에서 연성법의 한계가 드러난다. NIST AI RMF는 조직이 AI 위험을 식별하고 완화하도록 돕는 매우 유용한 도구이지만 그 자체가 법적 책임, 피해구제, 금지 의무, 권리 침해 판단을 직접 확정하는 것은 아니다. 특히 피지컬 AI처럼 인간의 신체, 안전, 이동, 돌봄, 의료, 노동 환경에 직접 영향을 미치는 영역에서는 연성법만으로 권리 보장의 최종 장치를 대체하기 어렵다.

3. 경성법(Hard Law)-NIST AI RMF를 경성법의 ‘실천적 도식’으로

경성법은 법적 구속력을 가진 규범으로서 위반 시 제재나 법적 책임이 현실적으로 부과될 수 있는 규칙을 가리킨다. 피지컬 AI처럼 인간의 생명과 안전에 직접 영향을 미치는 기술 영역에서는 설계, 개발, 검증, 배치, 운영, 사후 모니터링의 전 주기에 걸쳐 법적 의무와 책임 주체가 명확히 규정될 필요가 있다.

NIST는 AI RMF 1.0을 AI 시스템을 설계·개발·배포·사용하는 조직이 AI 위험을 관리하도록 돕기 위한 자발적 위험관리 프레임워크로 제시한다. 이 프레임워크는 권리 보존적이며 특정 산업 분야나 개별 사용 사례에 한정되지 않는 비부문, 사용 사례 비종속 프레임워크로 설계되었다.

피지컬 AI의 주의의무, 예견가능성, 설명의무, 위험평가 및 사후 모니터링 의무를 법적으로 구체화할 때, 거버넌스(GOVERN), 매핑(MAP), 측정(MEASURE), 관리(MANAGE) 네 가지 핵심 기능은 향후 입법·규제·사법 실무에서 위험 식별, 조직 거버넌스, 검증·평가, 사후 관리의 합리성을 판단하기 위한 참조틀로 활용될 수 있다(NIST, 2023). 이는 NIST AI RMF가 즉각적인 법적 강제력을 갖는다는 의미가 아니라 향후 주의의무 판단이나 산업 관행을 해석할 때 참조될 수 있는 연성법적 표준임을 시사한다.

그러한 점에서 NIST AI RMF 1.0과 NIST SP 800-37 Rev. 2의 역할 분담을 명확히 해야 한다. 전자는 AI 시스템의 위험을 관리하고 신뢰할 수 있으며 책임 있는 AI 시스템의 개발·배포·사용을 촉진하기 위한 AI 위험관리 프레임워크로 ① 타당성·신뢰성 ② 안전성 ③ 보안성과 회복탄력성 ④ 책임성과 투명성 ⑤ 설명가능성과 해석가능성 ⑥ 프라이버시 강화 ⑦ 유해 편향이 관리되는 공정성을 제시한다(NIST, 2023).

반면, NIST SP 800-37 Rev. 2는 정보시스템과 조직의 보안·프라이버시 위험관리를 위한 프레임워크로서 준비(Prepare), 분류(Categorize), 통제 선택(Select), 통제 구현(Implement), 통제 평가(Assess), 인가(Authorize), 지속적 모니터링(Monitor)을 포함하는 7단계 절차를 제시한다(Joint Task Force, 2018).

그러므로 피지컬 AI의 윤리적·법적 책임을 논할 때는 NIST AI RMF 1.0을 중심 참조틀로 삼아 AI 시스템의 신뢰성, 편향, 설명가능성, 책임성 등 사회기술적 위험을 검토하고 시스템 인프라의 보안과 프라이버시가 쟁점이 되는 경우에는 NIST SP 800-37 Rev. 2를 별도의 보조 참조틀로 함께 검토할 수 있다. 다만 이는 NIST 원문이 두 문서의 관계를 직접 그렇게 규정한다는 뜻이 아니라 두 문서의 목적과 적용 범위를 구분하여 활용하는 해석이다.

4. 결론-원칙이 결여된 기술 관리는 불충분하다

NIST AI RMF와 같이 연성법적 기술 관리는 충분한가? NIST AI RMF는 AI 위험을 조직적으로 다루기 위한 공통 언어와 절차적 구조를 제공지만 그것만으로 권리 보장의 문제까지 해결되는 것은 아니다. 드워킨의 관점에서 보면, ‘기술적 위험관리’와 ‘권리 보장’은 겹치는 부분이 있지만 동일하지 않다. 위험관리는 어떤 사건의 발생 가능성과 결과의 크기를 계산하고 조정하는 절차이지만 권리 보장은 어떤 이익이 효율성 계산 속에서 희생되어서는 안 되는지를 묻는다. 그렇기에 드워킨의 권리론은 피지컬 AI 윤리에 긴요한 기준을 제공한다.

피지컬 AI 시대의 규제는 형식적으로 더 정교한 가이드라인을 만드는 작업이 아니다. 그것은 법이 공동체의 도덕적 원칙을 일관되게 구현해야 한다는 드워킨의 ;법의 통합성(law as integrity)'을 AI 시스템의 설계와 운영 속에 어떻게 반영할 것인가의 문제이다.

그는 법의 통합성을 법이 공동체 구성원을 원칙에 따라 일관되게 대우해야 한다는 법 해석의 이상으로 제시하였다(Dworkin, 1986). 그러므로 우리는 국외 사례로서 NIST AI RMF라는 정교한 위험관리 지도를 참고해 우리나라 AI 기본법(인공지능 발전과 신뢰 기반 조성 등에 관한 기본법)의 향후 보완 과정에서 어떤 도덕적 이정표를 세울 것인지 답해야 한다.

연성법은 빠르게 변화하는 기술 환경에 대응하기 위한 유연한 장치이고 경성법은 권리와 안전을 보장하기 위한 제도적 장치이다. 그러나 그 둘을 연결하는 것은 결국 원칙이다. 피지컬 AI 규제의 핵심은 ‘AI가 얼마나 효율적인가’가 아니라 ‘AI가 누구를 어떻게 위험에 노출시키며, 그 위험을 어떤 원칙에 따라 정당화하거나 제한할 것인가’이다.

관련기사

드워킨이 해악 개념을 둘러싼 논쟁을 상기하면 해악은 순전히 사실의 이름이 아니라 우리가 자유와 권리와 공동체의 책임을 어떻게 해석하는가를 드러내는 규범적 개념이다. 물론 NIST AI RMF는 미국의 자발적 위험관리 프레임워크이므로 한국 법제에 곧바로 이식될 수 있는 법 모델은 아니다.

그러나 이것은 AI 위험을 식별하고 조직적으로 관리하기 위한 비교 기준으로서 한국 AI 법제가 권리 보장과 책임 귀속을 어떻게 구체화해야 하는지 검토하게 하는 유용한 참조 자료가 될 수 있다. 특히 피지컬 AI처럼 인간의 생명·신체·이동·돌봄·의료 환경에 직접 개입하는 시스템에 대해서는 고영향 AI의 범위, 사전 위험평가, 설명 가능성, 사고 이후 책임 귀속을 더욱 구체화할 필요가 있다. 그러므로 AI 기본법은 피지컬 AI 윤리의 중요한 시발점이지만 인간의 존엄, 권리, 책임을 보장하는 경성법과 원칙 기반 해석으로 보강될 때 비로소 충분한 규범 체계가 될 수 있다.

*본 칼럼 내용은 본지 편집방향과 다를 수 있습니다.