인공지능(AI) 인프라 경쟁의 승패가 반도체 성능보다 이를 뒷받침하는 소프트웨어(SW) 생태계에서 갈리고 있는 것으로 나타났다. 엔비디아의 독주 역시 그래픽처리장치(GPU) 하드웨어 우위만이 아니라 20년 가까이 축적한 쿠다(CUDA) 중심 SW 스택이 만든 구조적 진입장벽의 결과라는 분석이 나왔다.

11일 소프트웨어정책연구소(SPRi)가 발간한 'AI 인프라 경쟁에서 소프트웨어의 구조적 역할' 보고서에 따르면 올해 전 세계 AI 지출은 2조5000억 달러에 이를 전망이다. 이 가운데 절반 이상은 서버·가속기·데이터센터 등 인프라에 집중될 것으로 예상된다. 특히 데이터센터 GPU 시장에서 엔비디아는 약 86%의 매출 점유율을 확보하며 압도적 우위를 유지하고 있다.

보고서는 이 같은 지배력이 단순한 칩 성능만으로 설명되지 않는다고 짚었다. 동일한 H100 GPU를 사용하더라도 컴파일러, 가속 라이브러리, 드라이버 최적화 수준에 따라 실제 처리량이 3배 이상 벌어질 수 있어서다. AI 인프라의 본질적 경쟁력은 '칩 위에서 얼마나 효율적으로 연산을 구현하느냐'에 달려 있다는 의미다.

연구진은 AI 인프라를 개발 프레임워크, 컴파일러, 가속 라이브러리, 드라이버·런타임, 하드웨어의 5계층으로 구분했다. ▲개발자가 AI 모델을 설계할 때 사용하는 '파이토치'나 '잭스(JAX)' 같은 개발 도구부터 ▲이를 각 반도체에 맞는 실행 코드로 바꿔주는 '엑스엘에이(XLA)', '티브이엠(TVM)', '텐서알티(TensorRT)' 기반 컴파일러 ▲연산 속도를 끌어올리는 '쿠디엔엔(cuDNN)', '큐블라스(cuBLAS)' 등 가속 소프트웨어 ▲최하단 드라이버에 이르기까지 전 계층이 특정 하드웨어에 맞춰 최적화되며 락인(lock-in) 구조를 형성한다고 분석했다.

특히 보고서는 ▲최적화 비대칭으로 특정 칩으로 수렴하는 '성능 종속' ▲소프트웨어 선택이 곧 하드웨어 경로를 결정하는 '설계 종속' ▲폐쇄형 드라이버 구조가 물리적 대체를 막는 '구조적 종속'의 세 가지 메커니즘을 제시했다. 이미 특정 라이브러리와 '쿠다' 경로에 맞춰 최적화된 대규모 AI 모델 코드를 다른 칩용으로 재작성·검증하는 데 막대한 인력과 시간이 들어 하드웨어 교체 자체가 사실상 시스템 재구축에 가깝다고 봤다. 또 이 세 요소가 중첩될수록 전환 비용은 기하급수적으로 커진다고 설명했다.

주요국 전략도 뚜렷하게 대비됐다. 미국에서 엔비디아는 '쿠다' 생태계를 통해 성능·구조적 종속을 동시에 구축했고, 구글은 TPU(텐서 처리장치·대규모 AI 학습에 특화한 자체 반도체), 엑스엘에이(XLA), 잭스를 수직 통합해 별도의 설계 종속 경로를 구축했다. 중국 화웨이 역시 자사 AI 칩 '어센드(Ascend)'와 전용 소프트웨어 플랫폼 '칸(CANN)', AI 개발 프레임워크 '마인드스포어(MindSpore)'를 하나로 묶은 체계를 통해 자국 내 유사 생태계를 내재화하고 있는 것으로 평가됐다.

국내 신경망처리장치(NPU) 업계에는 기회와 과제가 동시에 제시됐다. 보고서는 한국 NPU 생태계가 파이토치 네이티브 지원과 가상거대언어모델(vLLM) 연동을 통해 프레임워크 진입에는 성공했지만, 컴파일러·라이브러리 계층의 성능 격차와 운영 레퍼런스 부족이 시장 확산의 걸림돌이라고 진단했다. 국내 AI 반도체 기업들 역시 전용 컴파일러 고도화와 거대언어모델(LLM) 추론 소프트웨어 최적화에 역량을 집중하며 쿠다 의존도를 낮추는 데 공을 들이고 있다.

업계에선 단순 칩 가격 경쟁력보다 전력 효율, 소프트웨어 유지보수, 개발 인력 재교육 비용을 모두 합친 총소유비용(TCO) 관점에서 엔비디아 대비 우위를 입증해야 실제 클라우드 사업자와 대기업 도입으로 이어질 수 있다고 보고 있다. 보고서 역시 TCO 기반 평가체계 도입을 핵심 정책 과제로 제시했다.

관련기사

이에 연구진은 칩 설계 중심 지원에서 벗어나 컴파일러·런타임·소프트웨어개발키트(SDK)를 포함한 풀스택 SW 육성으로 정책 패러다임을 전환해야 한다고 제언했다. 특히 쿠다 의존도를 낮추기 위한 오픈엑스엘에이(OpenXLA)·엠엘아이알(MLIR) 등 글로벌 오픈소스 표준 프로젝트 참여 확대와 공공 AI 데이터센터 기반 실증 환경 조성이 시급한 과제로 제시됐다. 최근 유엑스엘 재단(UXL Foundation)처럼 특정 가속기 벤더에 종속되지 않는 멀티벤더 표준 생태계가 확산하는 만큼, 국내 기업들도 글로벌 소프트웨어 표준 경쟁에 선제적으로 합류해야 한다고 분석했다.

보고서는 "K-NPU 확산의 병목은 칩 자체보다 소프트웨어 최적화와 운영 생태계 규모에 있다"며 "공공 AI 데이터센터를 활용한 대규모 실증과 글로벌 오픈소스 표준 참여를 통해 성능 격차와 레퍼런스 부족의 악순환을 끊어야 한다"고 말했다.