LG유플러스는 아마존웹서비스(AWS)가 주최한 ‘2026 Modern Agentic applications Day’ 행사에서 AI 모델을 실제 서비스로 안정적으로 운영하기 위한 플랫폼 구축 사례를 공개했다고 10일 밝혔다.

생성형 AI와 에이전트 기술을 활용한 인프라 운영 자동화를 주제로 열린 행사에서 LG유플러스는 기존 온프레미스 중심의 AI 개발 환경을 클라우드와 연계한 유연한 구조로 전환하고, AI 개발부터 서비스 운영까지 전 과정을 효율적으로 연결한 플랫폼 구축 경험을 공유했다.

플랫폼은 AI 모델 개발과 서비스 운영 단계 사이에서 발생하던 단절을 줄이는 데 초점을 맞췄다. 그동안 AI 모델의 학습, 평가, 배포, 운영이 각각 분리돼 진행되면서 서비스 전환 과정에서 반복적인 작업이 발생했는데, 이를 하나의 흐름으로 통합한 것이 핵심이다.

LG유플러스는 AI를 한 번 개발하고 끝내는 구조가 아니라 항상 서비스에 바로 활용할 수 있는 ‘모델 준비 상태(Model Ready)’를 유지하는 것이 중요하다고 보고 플랫폼을 설계했다. 데이터 수집부터 학습, 평가, 배포, 운영까지 전 과정을 하나의 파이프라인으로 연결해 개발자와 운영자가 보다 일관된 기준과 환경에서 AI를 다룰 수 있도록 했다.

이를 위해 LG유플러스는 AWS의 관리형 쿠버네티스 서비스인 Amazon EKS를 기반으로 한 하이브리드 인프라 아키텍처를 도입했다.

자체 보유한 온프레미스 GPU 인프라를 Amazon EKS 클러스터의 하이브리드 노드로 통합하고, 클러스터 전체를 중앙에서 제어하는 쿠버네티스 컨트롤 플레인은 AWS 완전관리형 서비스로 운영해 플랫폼 관리 부담을 줄였다. 인프라 관리보다 플랫폼 안정성과 서비스 품질 개선에 더욱 집중할 수 있는 환경을 마련했다.

GPU 자원 활용 방식도 개선했다. GPU를 장비 단위로 고정 할당하는 기존 방식 대신 필요한 만큼 자원을 유연하게 배분하는 구조를 적용해 GPU 미사용 시간을 줄였다. 이에 AI 모델 학습이나 서비스 제공이 필요한 시점에 GPU 자원을 보다 효율적으로 활용할 수 있게 됐다.

관련기사

LG유플러스는 플랫폼 구축 과정에서 AI를 서비스 관점에서 안정적으로 운영할 수 있는 구조와 기준을 설계하는 데 주력했다고 설명했다. 플랫폼이 인프라와 자원 관리 부담을 줄여주면서 AI 서비스를 더 빠르게 제공하고, 품질과 운영 안정성을 지속적으로 높일 수 있는 기반을 갖췄다는 설명이다.

권기덕 LG유플러스 AX엔지니어링랩(Lab)장은 “LG유플러스는 AX 서비스 가속화를 위해 데이터 수집부터 모델 개발, 배포, 운영, GPU 운영까지 아우르는 AI-DLC(AI 주도 개발 라이프사이클) 기반 엔지니어링 플랫폼 역량을 강화하고 있다”며 “앞으로도 AWS와의 기술 협력을 통해 AI 서비스 품질과 운영 안정성을 지속적으로 높여 나가겠다”고 말했다.