오케스트로가 생성형 인공지능(AI) 서비스 확산으로 급증하는 추론 수요에 대응하기 위한 AI 인프라 운영 플랫폼을 공개했다. 단순 그래픽처리장치(GPU) 확보 경쟁을 넘어 보유 자원을 얼마나 효율적으로 활용하느냐가 기업 AI 경쟁력으로 떠오르면서, 추론 최적화와 운영 자동화 시장 공략에 나선 모습이다.

오케스트로는 AI 추론 운영 플랫폼 '콘체르토 AI(CONCERTO A.I.)'를 출시했다고 29일 밝혔다. 콘체르토 AI는 기업이 보유한 GPU 인프라 활용 효율을 높여 생성형 AI 서비스 운영 과정에서 발생하는 추론 병목과 응답 지연 문제를 줄이는 데 초점을 맞췄다.

최근 기업 시장에선 AI 챗봇과 업무 자동화 에이전트, 검색증강생성(RAG) 기반 서비스 도입이 확대되면서 추론 연산 수요가 빠르게 증가하고 있다. 특히 에이전트형 AI 환경에선 하나의 요청이 여러 모델 호출과 반복 연산으로 이어지면서 GPU 자원 부담이 커지고 있다. 이에 업계에선 GPU 증설보다 기존 인프라 활용 효율을 높이는 운영 기술 중요성이 커지는 추세다.

콘체르토 AI는 대규모 추론 요청을 분산 처리하고 GPU와 신경망처리장치(NPU) 등 가속기 자원을 작업 특성에 맞게 배분하도록 설계됐다. 질문 분석과 답변 생성 작업을 분리해 각각 최적의 자원에 할당하는 분산 서빙 방식을 적용해 병목 현상을 줄이고 응답 성능을 높인다.

여기에 키-값 캐시(KV Cache) 최적화와 메모리 재사용 기술을 적용해 초기 응답 시간과 토큰 처리 속도를 개선했다. 실시간 대기열과 자원 상태를 반영한 지능형 라우팅 기능도 탑재해 고부하 환경에서도 안정적인 응답 성능을 유지할 수 있도록 지원한다.

오케스트로에 따르면 자체 온프레미스 AI 인프라 환경에서 진행한 벤치마크 결과, 동시 요청이 집중되는 고부하 환경에서 콘체르토 AI의 분산 서빙 방식은 기존 단일 처리 방식 대비 토큰 출력 속도를 2.2배 향상시켰다. 회사는 이를 통해 동일한 하드웨어 환경에서도 응답 지연을 줄이고 추론 처리 안정성을 높일 수 있다고 설명했다.

운영 자동화 기능도 강화했다. 콘체르토 AI는 AI 모델 배포부터 추론 요청 처리, 자원 배분, 성능 모니터링까지 거대언어모델 운영관리(LLMOps) 전 과정을 단일 플랫폼에서 지원한다. 표준화된 모델 패키징 기술을 기반으로 쿠버네티스 환경에서 배포 과정을 자동화하고 초기 응답 시간과 토큰 처리 속도, 자원 사용량 등 주요 운영 지표를 통합 관리할 수 있도록 돕는다.

특히 국내 유일 이기종 AI 가속기 지원 구조도 차별점으로 내세웠다. 엔비디아 GPU뿐 아니라 리벨리온과 퓨리오사AI 등 국산 NPU 환경까지 지원해 기업과 기관이 프라이빗 AI와 소버린 AI 환경에서 특정 하드웨어 벤더 의존도를 낮추고 인프라를 유연하게 구성할 수 있도록 지원한다.

관련기사

최근 AI 인프라 시장 경쟁축은 학습 중심에서 추론 중심으로 이동하는 분위기다. 생성형 AI 서비스가 실제 업무 환경에 본격 적용되면서 GPU 확보 경쟁을 넘어 운영 효율과 자원 활용 최적화, LLM옵스 역량이 새로운 경쟁력으로 부상하고 있다. 오케스트로 역시 콘체르토 AI를 통해 기업 AI 인프라 운영 효율을 높이고 프라이빗 AI 시장 공략을 강화한다는 전략이다.

김범재 오케스트로 대표는 "생성형 AI가 실제 업무로 확산되고 에이전트형 AI 서비스가 늘어나면서 기업 AI 인프라 과제는 더 많은 GPU를 확보하는 것에서 보유 자원을 얼마나 효율적으로 운영하느냐로 옮겨가고 있다"며 "콘체르토 AI를 기반으로 기업이 보유한 AI 인프라 활용 효율을 높이고 프라이빗 AI 환경에서도 안정적인 AI 서비스 운영을 지원하겠다"고 말했다.