생성형 AI(GenAI)와 대규모 언어 모델(LLM)의 기업 도입이 본격화되면서, AI 호출 트래픽을 안전하고 일관되게 관리하는 API 게이트웨이의 역할이 빠르게 확장되고 있다.

이런 흐름 속에서 글로벌 API 플랫폼 기업 콩(Kong)은 '콩 AI 게이트웨이'를 통해 AI·LLM 전용 트래픽 관리 영역으로 포트폴리오를 확장하고 있다고 28일 밝혔다. 또

국내에서는 리티스가 Kong 기반 서비스를 중심으로 기업의 API 및 AI 인프라 구축을 지원하고 있다고 설명했다.

AI 호출을 위한 전용 관문, 콩 AI 게이트웨이

콩 AI 게이트웨이는 기존 API 게이트웨이 개념을 확장해 LLM 및 생성형 AI API 호출을 중앙에서 제어, 보안, 관측할 수 있도록 설계된 솔루션이다. 단순한 프록시 역할을 넘어, AI 서비스 운영에 필수적인 통제 지점을 제공하는 것이 핵심이다.

주요 기능으로는 오픈AI, 애저 오픈AI, 앤트로픽 등 다양한 LLM API 호출을 단일 게이트웨이에서 표준화 해 관리할 수 있다. 또 요청 및 응답 로깅, 민감 정보 마스킹, 정책 기반 필터링을 통해 데이터 유출 리스크를 감소시키고, 모델별 호출량, 비용, 지연 시간을 실시간으로 모니터링해 AI 트래픽 가시성을 제공한다. 

보안 및 컴플라이언스 강화를 위해 인증·인가, 사용량 제한, 감사 로그도 AI 호출에 동일하게 적용된다. 특히 기존 콩 게이트웨이를 사용 중인 기업이라면, 기존 API 운영 체계를 유지하면서 AI 트래픽까지 자연스럽게 확장할 수 있다는 점이 강점으로 평가된다.

리티스, 콩 기반 API·AI 인프라 서비스 확대

국내 IT 서비스 기업 리티스는 콩 게이트웨이·콩 AI 게이트웨이를 중심으로 API 관리, 보안, 운영 전반을 아우르는 서비스를 제공하고 있다. 단순 제품 공급을 넘어, 기업 환경에 맞춘 아키텍처 설계와 운영 안정성 확보에 초점을 맞추고 있다.

관련기사

리티스의 콩 서비스는 마이크로서비스, 하이브리드·멀티 클라우드 환경에 적합한 API 게이트웨이 아키텍처 설계, LLM 호출 흐름 분석 및 보안 정책 수립, 비용·성능 최적화를 위한 전략 제시 등 AI 게이트웨이 도입 컨설팅을 포함한다. 또 OWASP API 시큐리티 톱 10 기반 정책 설계 및 실운영 적용, 장애 대응, 성능 개선, 버전 업그레이드 등 운영 단계까지 전반에 걸친 포괄적인 지원을 제공한다. 이를 통해 리티스는 기존 API 관리(APIM) 고객의 AI 전환을 단계적으로 지원하는 역할을 수행하고 있다.

리티스 관계자는 "전문가들은 생성형 AI 도입이 확산될수록 AI 거버넌스의 출발점은 API가 될 것으로 전망한다. LLM 호출 역시 API 형태로 이뤄지는 만큼 인증, 보안, 모니터링이 가능한 중앙 관문이 필수적이기 때문"이라며 "콩 AI 게이트웨이는 이런 요구에 기술적으로 대응하는 플랫폼으로, 리티스는 이를 국내 기업 환경에 맞게 현실적인 구축·운영 모델로 구현하는 파트너로 자리매김하고 있다"고 말했다. 이어 "생성형 AI가 실험 단계를 넘어 실제 비즈니스에 적용되는 시점에서, 콩 AI 게이트웨이는 더 이상 단순한 인프라가 아닌 AI 통제의 핵심 레이어로 진화하고 있다"고 덧붙였다.