[김명락 초록소프트 대표] 바야흐로 전 산업군에 걸친 ‘인공지능(AI) 경영’의 시대다. 필자가 비즈니스 현장에서 만나는 수많은 기업 경영진과 실무 책임자들은 AI 도입의 필요성에 깊이 공감하며, 당장이라도 AI를 업무 현장에 적용해 생산성을 혁신하고 싶어 한다. 글로벌 시장의 경쟁이 격화되는 상황에서 AI는 기업의 생존과 직결된 핵심 무기로 자리 잡았기 때문이다.

그러나 이들의 뜨거운 열망 뒤편에는 산업의 본질을 간과한 착각이 도사리고 있다. 바로 챗GPT 또는 제미나이와 같은 인지도 높은 거대언어모델(LLM) 하나만 도입하면, 마치 마법처럼 회사의 난제가 단숨에 해결될 것이라는 기대감이다.

냉정하게 현실을 직시해 보자. 현재 시장을 주도하는 범용 LLM은 세상의 방대한 지식을 얕고 넓게 학습한 ‘똑똑한 박사’일지는 몰라도, 우리 회사의 고유한 비즈니스 맥락과 내부 프로세스를 꿰뚫는 ‘유능한 실무자’는 아니다. 각 기업은 고유의 전문 용어, 보안 규정, 타깃 고객층을 보유하고 있으나 범용 모델은 이러한 특수성을 사전에 인지하지 못한다. 준비나 최적화 과정 없이 곧바로 현업에 투입하면 기업은 치명적인 문제에 직면하게 된다. 그럴듯한 문장으로 거짓말을 생성하는 환각 현상에 빠지거나, 실무 의사결정과 동떨어진 원론적인 답변만 늘어놓는 상황이 발생하는 것이다.

범용성 함정 넘는 3가지 열쇠

기업이 이처럼 ‘범용성의 함정’을 극복하고 특정 산업 영역에서 실제로 비즈니스에 기여할 결과를 얻기 위해서는 패러다임 전환이 필요하다. 범용 AI를 그대로 쓰는 것이 아니라, 우리 분야에 특화된 전문가로 재교육해야 한다. 기업의 핵심 데이터와 노하우를 AI의 지능으로 내재화하기 위한 방법은 크게 세 가지다.

가장 기초적이면서도 즉각적인 효율을 내는 방법은 프롬프트 엔지니어링이다. 이는 AI에게 던지는 질문과 지시어를 정교하게 설계해 최적의 결괏값을 유도하는 기법으로, 막대한 인프라 투자 없이도 활용도를 높일 수 있다.

이어지는 고도화 단계는 최근 기업용 AI의 핵심으로 부상한 검색 증강 생성(RAG) 기술이다. 기업 내부의 기밀문서나 최신 데이터를 AI가 직접 참조하게 하는 이 방식은 답변의 신뢰성을 높이고 환각 현상을 억제하는 데 효과적이다.

마지막으로 가장 큰 비용이 들지만, 확실한 성과를 기대할 수 있는 파인튜닝(Fine-Tuning, 미세조정)이 있다. 모델의 가중치를 직접 조정해 기업 고유의 문체와 전문화된 산업 지식을 깊이 반영하는 작업이다.

기업은 자사의 예산 규모와 도입 목적에 맞춰 이 세 가지 방법을 전략적으로 배합해야 한다. 이 과정을 거쳐 탄생한 결과물이 특정 도메인에 특화된 ‘버티컬 AI’다.

버티컬 AI를 통해 산업에 특화된 전문성을 확보했다면, 다음 단계에서 요구되는 핵심 역량은 ‘실행력’이다. 여기서 차세대 AI 혁신의 주역으로 등장하는 개념이 바로 ‘AI 에이전트’다. 많은 이들이 에이전트를 과거보다 조금 더 똑똑해진 챗봇으로 오해하지만, 그 본질은 사용자와의 ‘대화’가 아니라 비즈니스를 완결짓는 실제적인 ‘행동’에 있다.

친구들과 단체 여행을 계획한다고 가정해 보자. 범용 LLM이나 일반적인 버티컬 AI에게 “이번 주말 10명이 갈 만한 가평 펜션을 추천해 달라”고 요청하면 훌륭한 계획과 장소를 제시할 것이다. 하지만 그 역할은 거기까지다. ▲해당 펜션에 전화를 걸어 빈방을 확인하고 ▲멤버들에게 회비를 걷으며 ▲기차표를 예매하는 행정 업무는 수행하지 않는다. 비즈니스 관점에서 보면 계획에 그칠 뿐이다.

반면 고도화된 AI 에이전트는 접근 방식이 다르다. 계획을 세우는 단계를 넘어 예약 사이트의 API에 접속해 결제를 진행하고, 참가자들에게 일정 안내 문자를 발송하는 등 업무 전 과정을 직접 수행한다. 즉 거대언어모델이 상황을 분석하고 판단하는 ‘뇌’의 역할이라면, 에이전트는 이를 현실에서 실행하는 ‘손발’이다.

‘버티컬 + 에이전트’의 폭발적 시너지

버티컬과 에이전트의 결합이 만들어내는 가치 차이를 스포츠 장비 선택의 예로 살펴보자.

일반적인 범용 AI에게 테니스 라켓 추천을 요청하면 인터넷상의 마케팅 문구와 블로그 글을 기반으로 “요즘 A 브랜드의 반발력이 좋다”는 식의 보편적 답변을 내놓기 쉽다. 그러나 이는 광고성 정보와 실제 검증된 후기를 충분히 구분하지 못한 결과일 가능성이 크다.

반면 스포츠 데이터에 특화된 버티컬 AI는 ▲사용자의 키 ▲악력 ▲스윙 속도 같은 신체 데이터를 정밀하게 분석하고, 수만 건의 리뷰 중 실제 환경에서 검증된 후기만 선별해 최적의 장비를 매칭한다. 여기에 에이전트 기능이 결합하면 ▲최저가 탐색 ▲주문 ▲배송 접수까지 완료할 수 있다.

이 메커니즘은 ▲금융 ▲제조 ▲공공 ▲유통 등 각 산업 분야에도 동일하게 적용된다. 기업 리더들은 범용 모델을 맹목적으로 도입하기보다 RAG와 파인튜닝을 적극 활용해 조직에 맞는 ‘버티컬 AI’를 설계해야 한다. 그리고 그 위에 실질적인 현업 업무를 수행할 수 있는 ‘에이전트’를 탑재해야 진정한 디지털 혁신을 이룰 수 있다.

결론적으로 AI는 휘두르기만 하면 금은보화가 쏟아지는 도깨비방망이가 아니다. 명확한 목적에 맞게 갈고 닦아야 비로소 빛을 발하는 도구다. 이제 산업계는 막연한 기대를 거두고, 우리 기업의 ‘목적’을 정의한 뒤 그 목적을 달성하기 위해 AI에 어떤 수준의 전문성(Vertical)과 실행력(Agent)을 부여할지 치열하게 고민해야 할 때다.

필자는 초록소프트 대표이사로, 인공지능 및 정보통신(IT) 융합 분야 전문가다. 서울대 원자핵공학과에서 인공지능(AI)을 활용하여 핵융합 장치를 제어하는 연구로 공학학사(컴퓨터공학 부전공) 및 석사 학위를 받았으며, 헬싱키경제대에서 EMBA(Global Management-IT 전공)를 졸업했다. 연세대 투자정보공학과 대학원 금융AI 겸임교수, 한국외국어대 스포츠AI 겸임교수 등으로 강단에 섰다. 현재 대한민국 해병대 사령관의 AI 분야 자문위원으로 활동 중이다.

ⓒ이코노미스트(https://economist.co.kr) '내일을 위한 경제뉴스 이코노미스트' 무단 전재 및 재배포 금지