[이코노미스트 정길준 기자] 인공지능(AI) 인프라 기업 망고부스트가 서버 구축 과정 없이 AI 서비스를 구동할 수 있는 추론 전용 플랫폼을 선보였다.

망고부스트는 12일 서울 강남구 그랜드 인터컨티넨탈 서울 파르나스에서 기자간담회를 열고 서버리스 AI 추론 플랫폼 ‘망고 인퍼런스’를 공개했다.

‘추론’은 학습을 마친 AI 모델이 사용자의 질문이나 요청을 받아 답을 도출해내는 과정이다. 최근 AI 시장의 무게 중심이 대규모 학습에서 실생활 서비스 적용(추론·에이전트)으로 이동하면서 빠른 응답 속도와 서버 운영 비용(총소유비용·TCO) 절감이 기업들의 과제로 떠올랐다.

망고 인퍼런스는 개발자나 스타트업이 인프라나 서버를 구축할 필요 없이 부여받은 ‘API 키’ 하나만 입력하면 즉시 AI 추론 서비스를 이용할 수 있도록 설계됐다. 초 단위의 서비스 배포는 물론, 연산 지연시간을 줄여 운영 효율을 극대화한 것이 특징이다.

이 같은 성능의 배경에는 망고부스트가 자체 개발한 ‘풀스택’ AI 기술이 있다. 핵심 소프트웨어인 ‘LLM부스트’는 데이터가 저장소에서 그래픽처리장치(GPU)로 이동하는 전 과정을 최적화해 기존 추론 소프트웨어의 한계로 지적되던 병목 현상을 해결했다. 이를 통해 서버 과부하를 줄이고 데이터 처리 효율을 끌어올렸다.

이 기술은 국제 AI 성능 평가 벤치마크인 MLPerf와 InferenceX 등에서 한국과 미국의 다양한 AMD GPU 환경을 통합 운영하며 글로벌 수준의 성과로 입증받았다.

김장우 망고부스트 대표는 “하드웨어부터 소프트웨어까지 직접 설계한 풀스택 기술력이 망고 인퍼런스만의 핵심 차별점”이라며 “빠르고 효율적이며 신뢰할 수 있는 AI 추론의 새로운 기준을 제시하겠다”고 강조했다.

망고부스트는 서비스 출시에 맞춰 10월 12일부터 11월 11일까지 30일간 신규 이용자를 대상으로 무료 크레딧 제공 및 최신 AI 모델 할인 프로모션을 진행한다.

ⓒ이코노미스트(https://economist.co.kr) '내일을 위한 경제뉴스 이코노미스트' 무단 전재 및 재배포 금지