최근 많은 기업의 AI 인프라 전략 회의에서는 비슷한 질문이 나온다.

"에이전틱 AI가 확산되면 CPU와 GPU 비율이 바뀐다는데, GPU 서버에 CPU를 조금 더 추가하면 되는 것 아닌가?"

얼핏 합리적으로 들리지만, 바로 이 지점에서 많은 기업들이 중요한 부분을 놓치고 있다.

에이전틱 AI가 가져오는 변화는 단순히 GPU 서버에 CPU를 추가하는 수준이 아니다. 이는 데이터센터 아키텍처의 구조적 변화에 가깝다. 기업 IT 의사결정자들이 이해해야 할 점은 에이전틱 AI가 AI 인프라의 공식을 다시 쓰고 있다는 사실이다.

AI 인프라의 공식이 바뀌고 있다

AMD는 이러한 변화를 면밀히 관찰해 왔다. AMD는 과거 서버 CPU 시장이 연평균 18% 성장할 것으로 전망했지만, 에이전트가 만들어내는 구조적인 연산 수요 증가는 기존 시장 전망의 계산법 자체를 바꾸고 있다.

AMD는 현재 서버 CPU 시장이 연평균 35% 이상 성장해 2030년에는 1200억 달러 이상 규모로 확대될 것으로 전망하고 있다.

이는 단순히 AI 수요가 늘어나기 때문만이 아니다. 에이전틱 AI가 요구하는 컴퓨팅 방식 자체가 달라지고 있기 때문이다.

생성 AI의 첫 번째 물결: 질문과 답변 중심의 AI

생성 AI의 첫 번째 물결은 비교적 단순했다. 사용자가 질문을 입력하면 모델이 응답을 생성하고 결과를 반환하는 방식이었다.

이러한 환경에서는 하나의 CPU가 4~8개의 GPU를 관리하는 구성이 일반적이었다. CPU는 스케줄링과 입출력, 시스템 관리를 담당하고 GPU는 대규모 연산을 수행했다.

에이전틱 AI는 단순한 '챗봇+도구'가 아니다

하지만 에이전틱 AI는 다르다. 에이전틱 AI는 단순히 챗봇에 몇 가지 도구를 추가한 형태가 아니다.

에이전트는 단순히 질문에 답하는 데 그치지 않고 목표를 여러 단계로 나누고, 정보를 검색하고, 데이터베이스를 조회하고, API를 호출하며, 기업용 애플리케이션과 상호작용한다. 또한 결과를 검증하고 다음 행동을 결정하는 과정을 반복한다.

이는 기존의 '질문-응답' 중심 AI와는 전혀 다른 형태의 작업이다. AI가 답변을 생성하는 단계를 넘어 실제 업무를 수행하기 시작하면서 인프라에 요구되는 역할 역시 변화하고 있다.

CPU-GPU 변화의 해답은 'CPU를 더 추가하는 것'이 아니다

GPU는 여전히 모델 실행에 필수적인 역할을 담당한다. 그러나 실제 운영 환경에서 증가하는 작업은 점점 더 CPU 중심으로 변하고 있다.

CPU는 복잡한 목표를 실행 가능한 단계로 분해하고 이를 조율하는 엔진 역할을 한다. 또한 API와 기업용 애플리케이션을 호출해 에이전트가 실제 작업을 수행하도록 지원하며, 모든 자율적 행동이 정책과 보안 기준을 충족하는지 검증한다.

그 결과 기존 1:4 또는 1:8 수준이던 CPU와 GPU 비율은 1:1 수준으로 변화하고 있으며, 일부 환경에서는 CPU 비중이 더 높아지기도 한다.

중요한 점은 이러한 변화를 GPU 서버에 CPU를 몇 개 더 추가하는 방식만으로 해결할 수 없다는 것이다. 필요한 것은 에이전틱 AI를 위해 별도로 설계된 CPU 인프라 계층이다.

AI 시스템은 하나의 서버가 아닌 분산형 시스템으로 진화한다

앞으로 기업들이 구축하게 될 AI 시스템은 하나의 거대한 AI 서버가 아닐 것이다.

GPU는 고밀도 모델 연산을 담당하고, CPU는 에이전트 실행과 데이터 처리, 도구 활용을 담당하게 된다. 여기에 고성능 네트워킹과 소프트웨어가 결합돼 하나의 통합된 AI 환경을 구성하게 될 것이다.

이 과정에서 균형은 더욱 중요해진다. CPU 자원이 부족하면 GPU는 작업을 기다리게 되고, 네트워크가 병목이 되면 에이전트는 멈춘다. 데이터 흐름이 비효율적이면 지연시간은 증가하고, 동시에 많은 작업을 처리할 수 없다면 비용과 복잡성도 빠르게 높아진다.

에이전틱 AI 시대에는 어느 한 구성요소의 최고 성능보다 전체 시스템의 균형이 성능을 결정하게 된다.

AMD의 접근 방식

AMD는 이러한 변화에 맞춰 다양한 AI 환경에 최적화된 에픽(EPYC) 프로세서 포트폴리오를 제공하고 있다.

지연시간에 민감한 환경을 위한 고클럭 프로세서부터 대규모 확장 환경을 위한 고밀도 코어 프로세서까지 폭넓은 선택지를 제공하며, 향후 베니스(Venice) 제품군을 포함한 로드맵을 통해 AI 최적화 CPU 포트폴리오를 지속적으로 확대해 나갈 계획이다.

기업 IT 의사결정자를 위한 제언

기업 IT 의사결정자들에게 전하고 싶은 메시지는 분명하다. 에이전틱 AI를 단순히 기존 챗봇 하나를 추가하는 프로젝트로 바라봐서는 안 된다.

대신 계획하고, 행동하고, 검증하고, 정보를 검색하며, 다양한 도구를 활용해 업무를 수행하는 새로운 디지털 노동력이 조직에 합류한다고 생각해야 한다.

관련기사

이는 기업들이 기존 AI 인프라 구축 과정에서 예상했던 것보다 더 많은 CPU 자원을 계획해야 함을 의미한다. 또한 GPU 서버를 넘어 랙, 네트워크 패브릭, 소프트웨어, 그리고 시스템 전반의 균형까지 함께 고려해야 함을 의미한다.

에이전틱 AI 시대의 성능은 하나의 프로세서가 모든 것을 처리해서 얻어지는 것이 아니다. CPU와 GPU가 함께 작동해 AI를 답변 생성에서 실제 행동으로 발전시키는 올바른 아키텍처에서 나온다.

*본 칼럼 내용은 본지 편집방향과 다를 수 있습니다.