생성형 인공지능(AI) 경쟁 구도가 빠르게 바뀌고 있다. 단순히 더 큰 그래픽처리장치(GPU)와 더 많은 연산 성능을 확보하는 경쟁을 넘어 데이터 이동과 메모리 병목을 얼마나 줄이고 실제 서비스 환경에서 효율적으로 AI를 실행할 수 있는지가 새로운 핵심 경쟁력으로 떠오르는 모습이다.

로봇·모바일·스마트팩토리 등 실제 산업 현장으로 AI 확산이 본격화되면서 업계 무게중심도 초거대 모델 학습보다 추론 최적화와 전력 효율 중심으로 이동하고 있다는 분석이 나온다.

AI 추론 중심 재편…경량화·최적화 기술 부상

16일 업계에 따르면 최근 미국 AI 반도체 기업 세레브라스 시스템즈가 나스닥 상장 첫날 공모가 대비 68% 급등하며 올해 최대 규모 기업공개(IPO) 중 하나로 떠올랐다. 시장에선 이를 AI 산업 패러다임 변화의 상징적 사례로 해석하고 있다.

세레브라스는 웨이퍼 스케일 기반 초대형 칩 구조와 고속 SRAM 메모리 기술을 통해 AI 추론 효율을 높이며 주목받고 있다. 업계에선 이를 두고 AI 산업의 무게중심이 '학습'에서 실제 서비스 단계인 '추론' 중심으로 이동하고 있다는 신호로 해석하고 있다. 실제 맥킨지는 2030년 AI 컴퓨팅 수요의 절반 이상이 학습이 아닌 추론에서 발생할 것으로 전망했다.

특히 생성형 AI가 데이터센터를 넘어 모바일과 로봇, 자율주행, 스마트팩토리, CCTV 등 실제 산업 현장으로 확산되면서 AI 경쟁의 기준 역시 빠르게 달라지고 있다는 관측이다.

과거에는 더 큰 모델과 더 높은 연산 성능 확보가 핵심이었다면, 이제는 제한된 전력과 메모리 환경에서도 얼마나 효율적으로 AI를 실행할 수 있는지가 중요해지고 있다는 설명이다. 최근 AI 서비스 운영 과정에선 연산 성능 자체보다 메모리 사용량과 데이터 이동 비용, 전력 효율 등이 전체 운영비용(TCO)을 좌우하는 요소로 부상 중이다.

특히 AI 에이전트와 실시간 응답 서비스가 확대되면서 지연시간과 전력 효율 중요성이 빠르게 커지고 있다는 분석이다. 대규모 데이터를 반복적으로 처리하는 학습 단계보다 실제 사용자 요청에 즉각 대응해야 하는 추론 환경에선 메모리 병목과 데이터 이동 최소화가 핵심 경쟁력으로 떠오르고 있다.

세레브라스의 방향성 역시 단순한 초고성능 AI 칩 경쟁이 아니라, AI를 실제 환경에서 얼마나 효율적으로 구동할 수 있는가에 더 가까워지고 있다는 분석이 나온다.

"얼마나 크게보다 얼마나 효율적으로"

이같은 흐름 속에서 AI 반도체뿐 아니라 모델 경량화와 추론 최적화 기술 중요성도 함께 커지고 있다. AI가 실제 디바이스 환경으로 확산될수록 제한된 메모리와 전력 안에서 안정적으로 AI를 실행해야 하는 만큼, 하드웨어(HW)와 소프트웨어(SW)를 함께 최적화하는 방향으로 시장이 재편되고 있는 추세다.

국내에서도 이러한 흐름에 맞춰 추론 중심 AI 반도체와 최적화 기술 기업들이 사업 확대에 나서고 있다. 퓨리오사AI와 모빌린트, 리벨리온 등은 신경망처리장치(NPU) 기반 AI 반도체를 앞세워 전력 효율 중심의 추론 시장 공략을 강화하고 있다.

이 과정에서 AI 모델 최적화 기업 역할도 함께 확대되고 있다. 먼저 노타는 AI 모델 최적화 플랫폼 '넷츠프레소(NetsPresso)'를 기반으로 모델 경량화·양자화·구조 최적화 기술을 제공하며 다양한 AI 반도체 환경에서 실행 효율을 높이고 있다. 최근에는 퓨리오사AI의 추론 특화 NPU '레니게이드(RNGD)' 환경 최적화 협력을 진행 중이며 모빌린트와도 온디바이스 AI 최적화 협력을 확대하고 있다.

AI 경량화 분야에선 스퀴즈비츠 역시 주요 기업으로 거론된다. 스퀴즈비츠는 AI 모델 압축·양자화·추론 최적화 기술을 기반으로 GPU와 NPU 환경 모두에서 거대언어모델(LLM) 서빙 효율을 높이는 솔루션을 개발 중이다. 이 회사도 리벨리온과 협력해 NPU 기반 LLM 추론 생태계 확대에 박차를 가하고 있다.

AI 인프라 운영 분야에선 아크릴 역시 존재감을 키우고 있다. GPU·NPU 등 다양한 AI 가속기 운영 최적화 SW 사업을 확대 중이다.

관련기사

업계에선 AI 에이전트와 실시간 추론 서비스 확산이 본격화될수록 단순 칩 성능 경쟁을 넘어 실제 서비스 환경에서 AI를 얼마나 안정적이고 효율적으로 운영할 수 있는지가 더욱 중요해질 것으로 보고 있다.

업계 관계자는 "향후 AI 시장 경쟁은 단순히 더 큰 모델을 만드는 방향이 아니라, 실제 환경에서 얼마나 가볍고 효율적으로 AI를 실행할 수 있는가 중심으로 재편될 것"이라고 밝혔다.