인공지능(AI) 에이전트 확산으로 기업 토큰 소비가 증가하면서 사용량과 비용, 투자대비효과(ROI)를 함께 관리할 수 있는 기능 수요가 커지고 있다.

22일 IT 업계에 따르면 깃허브는 사용자·작업·조직 단위로 AI 사용량과 비용을 파악할 수 있는 기능을 플랫폼에 도입했다. 최근 코딩 에이전트가 사용량 기반 과금 체계로 운영되는 만큼, 기업이 API 토큰 사용 한도를 설정하고 실시간 비용을 확인할 수 있어야 하기 때문이다.

깃허브는 코딩 세션을 비롯한 작업, 사용자, 기업 단위에서 AI 사용 현황을 확인할 수 있는 기능을 강화하고 있다. 회사는 지난 19일 코파일럿 사용량 지표 API(Copilot Usage Metrics API)에 사용자별 AI 크레딧 사용량을 보여주는 'ai_credits_used' 필드를 추가했다.

해당 필드는 사용자가 하루 동안 소비한 전체 AI 크레딧 규모를 보여준다. 코파일럿 채팅과 코드 생성 등 사용자가 수행한 모든 코파일럿 활동에서 발생한 AI 크레딧 사용량을 합산한 값이다. 이 기능은 엔터프라이즈와 조직 단위 사용자 보고서에 적용된다.

관리자는 1일 단위(users-1-day)와 28일 단위(users-28-day) 보고서를 통해 사용자별 AI 크레딧 소비 현황을 확인할 수 있다. 사용량 기반 과금 체계에 대비한 비용 관리도 가능해진다. 일별 AI 크레딧 소비 패턴을 확인해 향후 비용 규모를 예측하고 예산 계획을 수립할 수 있다.

마리오 로드리게즈 깃허브 최고제품책임자(CPO)는 최근 온라인 세미나에서 "우리 목표는 개발자가 API 토큰을 무조건 많이 소비하게 만드는 것이 아니다"며 "개발자 의도를 신뢰할 수 있는 소프트웨어로 전환하는 것"이라고 밝혔다.

깃허브 CPO "로컬 모델 전략·자동 모델 라우팅 필수"

로드리게즈 CPO는 비용 최적화 방안으로 로컬 모델 전략과 자동 모델 라우팅을 제시했다. 모든 작업에 프런티어 AI 모델을 사용하는 대신 업무 난이도와 목적에 따라 적절한 모델을 선택해야 한다는 설명이다.

실제 깃허브는 모든 작업에 고성능 모델을 적용하는 대신 작업 난도와 목적에 따라 로컬 모델, 저비용 모델, 프런티어 모델을 적절히 배치하는 방식을 추진하고 있다.

로드리게즈 CPO는 개발자가 자신의 키를 가져와 모델을 사용하는 BYOK 방식도 지원한다고 설명했다. 깃허브는 올라마(Ollama) 같은 로컬 모델 제공자를 통해 코파일럿과 외부 모델을 함께 활용할 수 있도록 지원하고 있다.

그가 이 같은 전략을 추진하는 이유로 플랫폼 신뢰, 거버넌스, ROI를 꼽았다. 기업이 AI 사용량과 비용을 예측·통제할 수 있어야 AI 코딩 도구를 대규모 개발 환경에 적용할 수 있다는 이유에서다.

앞서 오픈AI도 '챗GPT 엔터프라이즈' 사용자 대상으로 크레딧 사용량 분석 기능과 업데이트된 지출 통제 기능을 공개했다. 이번 기능은 글로벌 관리자 콘솔에 챗GPT와 코덱스 사용량 정보를 통합 제공하는 데 초점 맞췄다. 관리자는 사용자·제품·모델별 크레딧 소비 현황을 세분화해 확인할 수 있다.

관련기사

오픈AI는 올해 초 사용자 지정 역할별 크레딧 사용 한도 기능을 도입한 바 있다. 이번에는 여기에 조직 단위 지출 통제 기능도 확대한 것이다.

로드리게즈 CPO는 "깃허브 코파일럿 앱은 단순한 코드 작성 도구가 아니라 'AI 네이티브 엔지니어링 시스템'"이라며 "개발자는 앞으로 코드 한 줄 한 줄을 직접 작성하기보다 목표를 제시하고, AI 에이전트가 만든 결과를 검증하며, 품질과 아키텍처를 관리하는 역할을 맡게 될 것"이라고 강조했다.