최근 젠슨 황 엔비디아 최고경영자(CEO)가 의미심장한 말을 했다. 의료, 자율주행차, 비행기, 국방처럼 인간의 생명과 안전에 직결되는 영역에서 인공지능(AI)도 분야별 규제를 받아야 한다는 것이다. 특히 그는 많은 사람이 AI를 더 똑똑하게 만드는 일에만 관심을 두지만 실제로는 AI를 가드레일 안에 두고 통제하는 데 훨씬 더 많은 사람이 투입되고 있다고 설명했다. 세계 최고 AI 인프라 기업 대표가 AI 경쟁력 핵심을 성능이 아니라 안전한 통제와 검증에서 찾은 셈이다.

특히 국방 분야에선 이 문제가 더 무겁다. AI는 이미 민간 편의 기술을 넘어 국가안보와 군사작전 내부로 들어오고 있다. 미국과 중국도 강력한 AI 모델의 가드레일을 논의한다. 결국 국방 AI 경쟁력은 실제 작전 환경에서 AI를 믿고 맡길 수 있는가, 위급한 순간에도 군의 의도와 작전 맥락 안에서 통제할 수 있는가에서 갈릴 것이다.

이 흐름을 가장 잔혹하게 보여준 게 러-우 전쟁이다. 과거 무기 실증은 훈련장과 시뮬레이터에서 이뤄졌지만 지금 우크라이나는 드론, 위성, 전자전, 지휘통제, AI가 실제 전장 한복판에서 연결된다. 비극의 전쟁이 기술 관점에서 가장 냉혹한 실증장이 됐다.

그 상징적 사례인 미국 AI 방산업체 팔란티어는 우크라이나에서 위성, 드론, 감청, 현장 보고, 동맹국 정보 등 방대한 전 출처 데이터를 통합해 전장 상황 판단과 표적 결정을 지원하는 체계를 선보였다. 우크라이나는 팔란티어와 함께 실제 전장 데이터를 활용해 상황인식 및 전투관리 AI 모델인 델타(Delta)를 시험·훈련하는 '브레이브1 데이터룸'까지 출범시켰다. 

실험실 데이터가 아니라 러시아 드론 등 실제 위협 데이터로 AI를 훈련하고 검증하겠다는 것이다. 나아가 우크라이나는 동맹국에 4년 전투 기간 중 수집한 전장 전투데이터를 제공해 AI 모델을 실전적으로 훈련할 수 있는 시스템을 구축할 예정이다.

전 세계 방산기업이 우크라이나를 주목하는 건 이제 전쟁 피해국이라는 의미에만 머물지 않는다. AI 국방 기술이 실제 환경에서 검증되는 공간, 다시 말해 미래 국방 AI이자 실제 전장 전투데이터의 성지가 되어가는 중이다. 이는 결코 간과할 일이 아니다. 포탄이 떨어지고 통신이 끊기며 데이터가 왜곡되고 적이 일부러 교란하는 환경에서도 AI가 통제할 수 있게 작동하느냐가 미래 국방과 안보의 핵심 경쟁력이 된다는 뜻이다.

이스라엘과 가자지구, 미국과 이란을 둘러싼 군사 충돌에서도 비슷한 흐름이 보인다. 이스라엘-가자 전쟁에선 '라벤더' 같은 AI 기반 표적화 체계를 활용해 발생한 오인 사살과 대규모 민간인 피해 문제가 국제사회의 거센 비판과 함께 국제적 논쟁의 중심에 섰다. 미국도 팔란티어의 '메이븐 스마트 시스템' 등 AI 표적화 기술을 활용해 이란과 벌인 전쟁에서 낡은 데이터와 초고속 자동화 체계 오류로 인해 민간인 학교를 폭격해 수많은 여학생이 숨지는 참사가 발생했다.

이스라엘의 대이란 작전에서도 AI가 방대한 정보를 빠르게 선별하는 데 활용됐다는 보도가 나왔다. AI는 이제 전쟁 주변 기술이 아니라 전장 판단의 속도와 범위를 바꾸는 기술이 됐다. 그렇다면 앞으로의 전쟁은 AI를 쓰는 쪽과 쓰지 않는 쪽의 싸움일까. 아니면 통제 가능한 AI를 가진 쪽과 그렇지 못한 AI에 의존하는 쪽 사이일까.

AI 성능이 좋다는 것과 AI가 우리 의도에 맞게 움직인다는 것은 전혀 다른 문제다. 천재가 반드시 믿을 만하거나 말 잘 듣는 사람이 아니듯 고성능 AI도 마찬가지다. 모델이 더 빠르게 계산하고 더 복잡한 추론을 수행하며 더 많은 시스템을 호출할 수 있다는 것은 장점이면서도 또한 위험한 능력이다.

군 작전은 민간 서비스와 달리 AI가 표적식별, 데이터 오류, 작전 맥락을 잘못 이해하면 아군 피해, 민간인 피해, 지휘 판단 왜곡, 작전 실패로 이어질 수 있다. 더구나 군 작전의 기준은 상황에 따라 달라진다. 평시와 전시는 다르고, 안정된 후방과 위급한 전장은 다르며, 민간인 피해를 최소화해야 하지만 때로는 위험을 감수해야 하는 극단적 상황도 존재한다.

더 큰 문제는 AI가 이런 군사적 상황을 제대로 이해하지 못할 수 있다는 점이다. 기존 학습 결과만을 기준으로 그럴듯한 작전을 제안하거나, 반대로 필요한 명령을 과도하게 거부하거나, 목표 달성을 위해 허용되지 않은 수단을 선택할 수 있다. 평소 지휘관의 의도를 잘 이해하는 것처럼 보이다가도 결정적 순간에 작전 목적보다 자신이 학습한 보상 기준을 우선할 수 있다. 이것은 단순 오답이 아니라 군사적 위험이다.

이것이 바로 AI 신뢰성 영역이다. 여기서 말하는 신뢰성은 제품시험을 통과했다거나, 인증서를 받았거나, 혹은 보안 점검을 마쳤다는 정도를 의미하지 않는다. 특히 국방 AI 신뢰성이란 데이터 오류 등을 극소화하고 AI가 실제 운영 중에도 인간, 특히 지휘관의 의도와 허용된 권한, 위험 기준, 작전 맥락 안에서 계속 통제할 수 있게 작동해야 한다. 

아직도 많은 사람이 신뢰성을 시험, 인증, 보안과 혼동한다. 이들 모두 중요하고 필요하지만 AI도 시험이나 인증으로 운영 중 판단 변화와 실제 작전 환경에서 안전한 운용을 자동 보장하지 않는다. 인성 검사 한 번으로 그 사람이 평생 올바르게 행동한다고 보장할 수 없고 운전면허증 취득이 교통사고를 없애지 않듯이 말이다. 

사이버보안과 신뢰성도 역시 다르다. 열쇠 없는 사람이 문을 열지 못하도록 하는 조치가 보안이라면, 신뢰성은 열쇠를 가진 AI라도 문 안에서 우리가 의도한 범위 안에서만 행동하게 하는 조치다. 외부 침입이 없어도 AI는 목표를 달성하는 과정에서 운영자가 허용하지 않은 수단을 선택할 수 있다. 이를 목표 오해, 과잉 최적화, 보상 해킹이라고 부른다. 생성형 AI에서 나타나는 아첨형 답변 역시 군 작전과 결합하면 단순한 불편이 아니라 위험이 된다.

이럴 때면 빠짐없이 등장하는 논리가 'AI가 추천하고 장교가 확인하면 된다'라는 인간 감독이다. 하지만 이것은 인간 감독을 단순하게 인간 개입 수준으로 착각한 결과다. 인간 감독은 사람이 마지막에 선의와 진심으로 도장을 찍는다는 뜻이 아니다. AI가 어디까지 자율적으로 결정할 수 있는지, 어떤 임계치에 인간을 호출해야 하는지, 어떤 상황에서 스스로 멈춰야 하는지, 어떤 판단은 사후 감사를 받아야 하는지를 기술적으로 미리 구조 설계하는 일이다. 감독하는 인간과 조직이 그 역할을 감당할 역량을 갖췄는지도 함께 보아야 한다.

결국 미래 국방 경쟁력은 더 똑똑한 AI를 갖는 데서 끝나는 것이 아니라 더 강한 AI를 얼마나 통제할 수 있게 운용하느냐에서 갈린다. 민간에선 이를 AI 신뢰성, 더 정확히는 'AI 어슈어런스(assurance)'라고 부른다. 영국이나 이스라엘은 이미 AI 어슈어런스를 별도 전문시장으로 보고 산업을 육성하고 있다. AI가 물리적 자율성을 갖고 지휘 결심과 작전 결과에 직접 영향을 미치는 시대엔 통제 가능성이 전투력이고 신뢰성이 곧 국방 AI 경쟁력이라서다.

관련기사

우리도 AI 신뢰성 전문기업을 국방시장으로 끌어들이는 데 있어 이름이 알려진 AI 기업을 부르는 것만으로는 부족하다. AI를 잘 만드는 기업과 AI를 믿을 수 있게 만드는 기업은 다르고 신뢰성은 특수한 전문 분야이기 때문이다. 군은 민간의 AI 신뢰성 전문기술기업이 국방 환경에서 실증하고 군 특수 요구를 반영해 AI 기술을 고도화할 수 있도록 초기 시장과 실증 기회를 열어야 한다.

최근 국제적으로 벌어지는 전쟁은 미래 국방이 AI를 보유한 국가와 그렇지 못한 국가의 싸움이 아니라, 통제 가능한 AI를 보증할 수 있는 국가와 그렇지 못한 국가의 싸움이 될 것임을 보여준다. 우리가 그 산업을 갖추지 못하고 누군가에 의해 기준이 만들어진 뒤에 따라간다면 그때 더 비싼 값을 치르게 될지도 모른다.

*본 칼럼 내용은 본지 편집방향과 다를 수 있습니다.