인공지능(AI) 자동화를 무작정 도입하기보다 기업이 달성하려는 목표를 명확히 정의하는 것이 우선이라는 지적이 나왔다. 급격한 AI 시장 변화 속에서 기업이 겪는 인프라 비용과 관리 감독 한계가 명확해지고 있기 때문이다.

추창호 굿어스데이터 기술그룹장은 22일 서울 강남구 사옥에서 "최근 AI 에이전트와 자동화 도구 확산으로 토큰 사용량이 폭발적으로 증가하고 있다"며 "목표 없이 AI 자동화부터 추진하면 비용 통제가 어려워질 수 있다"며 AI·클라우드 시장의 현황과 과제를 짚었다.

AI 확산에 토큰 사용량 폭증...예측 어려워진 비용

추 그룹장은 AI 자동화와 AI 에이전트 확산으로 기업 내 토큰 사용량이 폭증하고 있다고 분석했다. 과거에는 사용량 기반으로 비용을 비교적 안정적으로 예측할 수 있었지만 이제는 개인까지 다양한 자동화 툴을 활용하면서 비용 예측 자체가 어려워졌다는 설명이다.

실제로 해외에서는 AI 에이전트를 과도하게 활용하다 클라우드 운영 비용이 구독료를 넘어서는 사례가 등장하고 있다. 최신 AI 모델 업그레이드 이후 토큰 사용량이 7배 이상 증가해 서비스를 중단한 사례도 잇따르고 있다.

추 그룹장은 "자동화 도구를 도입한 이후 토큰 사용량이 몇 배씩 폭증하면서 기업들이 예상하지 못한 비용 부담을 겪고 있다"며 "과거 클라우드를 처음 도입할 당시 인프라 비용 절감만 기대했다가 오히려 운영비가 증가했던 상황과 비슷한 흐름"이라고 설명했다.

이러한 시행착오를 줄이기 위해 굿어스데이터는 대규모언어모델(LLM) 도입 시 발생할 수 있는 토큰 기반 비용을 미리 시뮬레이션하고 체험할 수 있는 '플레이그라운드' 환경을 고객사에 제공하고 있다.

플레이그라운드는 고객사가 다양한 글로벌, 국산 오픈소스 모델과 LLM 아키텍처를 직접 테스트하며 실제 비즈니스 적용 시 발생할 수 있는 토큰 소모량과 클라우드 인프라 예산을 정확히 예측하도록 돕는 비용 최적화 검증 플랫폼이다.

추 그룹장은 "이를 통해 업무별로 가장 적합한 모델과 운영 구조를 사전에 검증할 수 있으며, 불필요한 토큰 사용과 과도한 클라우드 비용을 줄이는 성과를 고객사에 제공하고 있다"고 설명했다.

"최신 모델보다 중요한 건 데이터"...전처리 역량이 AI 성능 좌우

추창호 그룹장은 시뮬레이션을 통해 인프라와 비용을 최적화하는 과정에서 가장 중요한 변수로 데이터를 지목했다. 지난해 자체적으로 진행한 AI 모델 벤치마킹 결과 최신 AI 모델 알고리즘보다 데이터의 품질과 전처리 기술이 더욱 많은 영향을 미쳤다는 설명이다.

추 그룹장은 "방대한 데이터를 보유한 기업이라도 정제 작업이 제대로 되지 않으면 최신 고성능 AI 모델이라도 엉뚱한 결과물을 도출할 수 있다"며 데이터 처리의 중요성을 강조했다.

굿어스데이터는 이처럼 중요성이 커진 대용량 데이터 처리 기술과 그동안 축적한 노하우를 바탕으로 실제 다양한 산업군에서 구체적인 인프라 관리 성과를 내고 있다.

대표적인 사례가 금융권의 불완전 판매 방지 시스템이다. 하루에 수천에서 수만 건씩 쌓이는 음성 녹취 데이터를 100% 텍스트로 변환하고 규정 준수 여부를 체크하는 구조다. 굿어스데이터는 업무 시간 이후 야간에 이 대량의 데이터를 제한된 토큰 리밋 안에서 문제없이 처리할 수 있도록 최적의 스케줄링 파이프라인을 개발해 적용했다.

교육 분야에서는 네이버클라우드 인프라를 기반으로 인공지능 디지털교과서(AIDT) 플랫폼 서비스 운영을 지원하며 지난해 파트너 비즈데이에서 매출 성장률 등 두 개 부문을 수상했다. 동영상 교육 콘텐츠의 연사 발언을 텍스트로 추출하고 이를 다국어로 번역하는 작업 등에서 고객사 검수팀으로부터 단 한 번의 오류 피드백도 받지 않을 만큼 높은 정확도를 검증받았다. 최근에는 실시간 자막과 취재 데이터베이스화가 필요한 방송사 등에서도 관련 문의와 기술 논의가 이어지고 있다.

인간 개발자 대체는 시기상조…'멀티 에이전트' 한계 명확

데이터의 품질과 전처리가 해결되더라도 AI 인프라를 효율적으로 운영하고 관리 감독하는 '인간의 역할'은 여전히 AX 성패의 핵심 요인으로 꼽힌다. 추 그룹장은 업계의 뜨거운 감자인 'AI 에이전트를 통한 인간 개발자 대체' 가능성에 대해서는 회의적인 시각을 보였다.

최근 AI 에이전트 수 개를 분산 배치해 기획, 코딩, 리뷰(QA) 등 실제 회사 조직도처럼 역할을 분담해 업무를 수행하도록 만드는 구조가 주목받고 있지만, 현장 시스템에서의 한계는 뚜렷하다는 지적이다.

추 그룹장은 "실제 멀티 에이전트를 가동해 보면 서로 자기 업무가 아니라고 책임을 전가하며 루프만 돌고 결과물이 안 나오는 현상이 발생한다"며 "결국 중간에 사람이 개입해 맥락을 정의하고 가이드라인을 줘야 한다"고 말했다.

결과물에 책임을 지는 주체는 결국 사람이기 때문에 관리 감독을 할 수 있는 운영자의 역량이 성패를 가를 것이라는 제언이다. AI 도입 이후 비용 대비 효율성이 떨어져 사람을 다시 채용하는 빅테크 기업들의 해프닝이 일어나는 것도 일맥상통한다는 설명이다.

관련기사

추 그룹장은 향후 계획으로 프리미엄 서비스 파트너(UMSP)인 네이버클라우드의 행보에 발맞춰 동남아와 중동 등 해외 시장 진출을 함께 준비할 것이라고 밝혔다. 최근 지정학적 분쟁 등으로 인해 해외 일부 지역에서 미국산 기술 일변도에서 벗어나려는 움직임이 감지되고 있기 때문이다.

추창호 그룹장은 "미국 의존도에서 벗어나기 위한 해외 지역에서 우리 기업의 기회가 많아질 것"이라며 "투명한 오픈소스 모델 활용과 현지 파트너십이 정착된다면 한국 기업들에게 글로벌 시장에서 더 많은 기회가 열릴 것으로 기대한다"고 전망했다.