대화형 인공지능(AI) 챗봇이 초기 사용자들에게 관심을 끌었던 것은 주어진 질문에 대한 즉각적이고 구체적인 답변, 사람처럼 자연스러운 대화, 광범위한 학습 정보에 기반한 폭넓은 대화 주제를 지원한다는 점이었는데요. 이걸 가장 먼저 실현한 오픈AI의 챗GPT가 2022년 11월 말 등장해서 벌써 2년이 돼 갑니다. 이후 챗GPT 대항마를 자처했거나 시장에서 후발 주자로 도전장을 낸 서비스들은 더 이상 ‘그럴 듯한 ‘말솜씨’나 ‘빠른 답변’만으로 사람들에게 쓸모 있다고 인정받기는 어려워졌죠. 특히 실무 영역에서 생성 AI를 도입하려는 기업들에게는 이 기술이 언뜻 신선해 보이지만 실제로는 상당히 까다로운 존재였습니다. 생성 AI 기술을 사용할 때 생성된 결과물이 정보의 최신성과 사실성, 기업의 규정이나 정책에 맞는지 여부도 따져봐야 하기 때문입니다.
그런데 비즈니스 기회가 많은 것은 개인 서비스용 챗봇보다 업무에 활용하는 기업용 챗봇 시장입니다. 시장조사업체 마켓어스에 따르면 글로벌 생성 AI 기반 챗봇 시장 규모는 2023년 1억5100만 달러에서 2033년까지 연평균 27.5%씩 성장해 17억1430만 달러로 커질 전망인데, 여러 산업을 막론하고 고객 지원, 영업 프로세스 최적화, 전반적인 사용자 경험 향상 등을 위한 솔루션을 챗봇 솔루션의 역할로 꼽고 있어요. IT 업계에선 성장성이 높은 비즈니스 영역에서 생성 AI 기술의 제약을 극복하는 방안으로 ‘검색 증강 생성(RAG)’이라는 기법이 제안됐고, 실제로 이를 지원하기 위한 사업자들의 움직임과 이들이 발굴한 초기 혁신 사례들이 나오고 있습니다.
RAG란?: 암기형 시험 보는 챗봇을 오픈북 테스트 모드로 바꿔 주는 기술
RAG는 불과 4년 전인 2020년 5월 페이스북 AI 리서치 소속 연구진이 출판 전 논문 수집 웹사이트인 ‘아카이브(arxiv)’에 공개한 논문(Retrieval-augmented generation for knowledge-intensive NLP tasks)을 통해서 처음으로 제안됐어요. 산업계에선 여전히 낯선 개념이지만, 흔히 거대언어모델(LLM)로 생성형 AI 시스템을 구현할 때 사용자에게 제공하는 응답 품질을 개선하기 위해 채택할 수 있는 AI 프레임워크를 지칭하는 용어로 쓰이고 있습니다. 응답 품질을 개선하는 방법으로 시스템에서 사용되는 LLM 자체를 변경하는 것이 아니라, LLM이 정확도와 최신성을 갖춘 외부 정보를 기반으로 응답을 생성하도록 응답 프로세스를 보완하는 기법입니다.
RAG를 적용한 AI 챗봇 시스템에서 전체 응답 프로세스는 2024년 3월 17일 클라우드데이터인사이츠에 게재된 기사 “기업들이 RAG를 이해해야 하는 이유”에 제시돼 있는데요. 이 내용을 아주 단순화해 소개하자면 이렇습니다. RAG 프로세스는 쿼리(사용자의 질문) 입력, 검색(쿼리와 관련된 외부 정보 찾기), 필터링(쿼리 관련성에 따라 검색 결과 배열), 생성(검색 결과를 사용해 응답), 출력(생성된 응답을 쿼리에 효과적으로 답변하도록 조정), 피드백 루프(사용자 피드백 학습을 통한 향후 쿼리 검색·생성 프로세스 개선) 순으로 진행됩니다.
여기서 말하는 외부 정보는 AI 시스템의 역할과 용도에 따라 달라질 수 있지만, 우선 기업 입장에선 외부에 유출할 수 없는 기밀 자료 또는 고객 정보 데이터베이스(DB), 또는 가치가 높은 회사의 고유한 업무 노하우여서 통째로 제공할 수 없는 업무용 지식 관리 시스템 등이 될 수 있습니다. 온라인 쇼핑몰 운영 업체를 예로 들면, 상품을 구매한 소비자의 최신 쇼핑 이력을 기반으로 관련 신상품 할인 구매 혜택을 제안하거나 상품 결제 후 배송 단계에서 처리 현황 문의를 받았을 때 고객 응대를 자동화하는 시나리오를 생각해 볼 수 있죠. AI 챗봇은 혜택을 제안하거나 배송 현황을 안내하려는 직원의 업무 일부를 효율화할 수도 있고, 야간이나 주말 부재중인 상황에서 그 업무 일부를 대신할 수도 있습니다.
생성 AI 챗봇을 작동하게 하는 LLM 입장으로 표현하자면, 기본 챗봇 서비스는 LLM이 학습한 정보만을 갖고 사용자가 내는 문제에 답해야 하는 ‘암기형 테스트’를 받고 있는 것이죠. 그런데 LLM은 보통 자신이 모르는 것을 모른다고 인정하기보다는 ‘할루시네이션(환각)’이라고 불리는 헛소리를 지어내곤 하기 때문에 그 결과를 그대로 기업 환경에 쓸 수는 없습니다. RAG를 적용하면 챗봇 서비스는 사용자가 내는 문제에 답하면서 이미 LLM이 학습한 정보뿐 아니라 학습하지 않은 정보를 실시간으로 찾아 답하는 ‘오픈북 테스트’를 수행하게 됩니다. 인터넷에 공개된 데이터를 학습하고 과거 특정 시점 이전까지의 사실만을 알고 있는 LLM이 특정 온라인 쇼핑몰 운영 업체의 고객을 응대할 수는 없잖아요? 이 때 이러한 정보를 열람하고 적절하게 보호할 수 있는 형태로 RAG를 구현함으로써 쇼핑몰 운영 업체의 비즈니스를 개선할 수 있는 것이죠.
미국 IT 기업 IBM이 2023년 8월 22일 게재한 블로그를 통해 이러한 RAG의 이점을 다음과 같이 설명한 바 있습니다. “RAG는 LLM의 내부 정보 표현을 보완하는 외부 지식 출처를 모델 기반으로 둠으로써 LLM에서 생성된 응답의 품질을 개선하기 위한 AI 프레임워크입니다. LLM 기반 질의응답 시스템에 RAG를 구현하면 두 가지 주요 이점이 있습니다. 모델이 최신의 신뢰할 수 있는 사실에 접근할 수 있고 사용자가 모델의 출처에 접근할 수 있으므로 모델이 주장하는 것이 정확하고 궁극적으로 신뢰할 수 있는지 확인할 수 있다는 것입니다.”
기업 시장을 주름잡는 글로벌 클라우드 서비스를 제공하는 기업들 또한 RAG의 중요성과 이점을 안내하고 있습니다. 아마존웹서비스는 공식 웹사이트에서 RAG가 중요한 이유에 대해 이렇게 설명합니다. “LLM을 리디렉션하여 신뢰할 수 있는 사전 결정된 지식 출처에서 관련 정보를 검색합니다. 조직은 생성된 텍스트 출력을 더 잘 제어할 수 있으며 사용자는 LLM이 응답을 생성하는 방식에 대한 통찰력을 얻을 수 있습니다.” 구글클라우드도 RAG를 사용해야 하는 주요 이유로 사실에 기반한 더 정확한 정보를 제공한다는 점, LLM 응답이 더 문맥에 알맞게 생성되게 한다는 점, RAG이 통합된 챗봇의 대화 능력을 향상시키고 사용자 경험을 개선한다는 점 등을 강조했고요.
“최신성, 정확성, 사용자 경험은 LLM을 미세조정해도 개선되지 않나요?”
최신성, 정확성, 향상된 사용자 경험 등 RAG를 통해 얻을 수 있다고 한 이점들은 LLM이 추가 데이터를 학습하는 미세조정(파인튜닝) 기법으로도 일부 달성할 수 있습니다. 하지만 어떤 LLM을 미세조정한다는 것은 기업이 그 LLM을 자체 구축했거나, 외부에 오픈소스로 공개됐거나, 미세조정 가능한 LLM 제품이 별도로 공급되고 있을 때 가능한 방식입니다.
LLM을 자체 구축하지 않은 기업은 이 셋 중 어떤 것을 선택하더라도 단순히 LLM을 도입하는 것보다는 더 많은 비용을 들여야 하고, 그걸 통해 얻을 수 있는 실익에 비해 큰 부담이 될 수 있습니다. 아마존웹서비스도 RAG의 이점을 제시한 글에서 이렇게 지적합니다. “조직 또는 도메인별 정보를 위해 파운데이션 모델(LLM)을 재교육하는 데 드는 계산 및 재정적 비용이 많이 듭니다. RAG는 LLM에 새 데이터를 도입하기 위한 보다 비용 효율적인 접근 방식입니다. 이를 통해 생성형 AI 기술을 보다 폭넓게 접근하고 사용할 수 있습니다.”
자체 LLM을 보유하지 않은 기업들이 생성 AI 기술 도입을 검토하면서 미세조정과 RAG의 장단점에 대한 산업계의 경험도 축적되고 있습니다. LLM의 응답 결과물 전반을 특정한 비즈니스 영역에 알맞은 지식, 어휘나 문체, 뉘앙스로 조정해야 하고 사용할 데이터가 빈번하게 바뀌지 않는다면 미세조정 기법을 선택하는 게 유리할 수 있습니다. 하지만 AI가 응답을 생성할 때 참조할 데이터가 빈번하게 바뀌고, 최신의 정확한 정보를 활용해야 하며, 할루시네이션을 억제해야 하고, 결과물이 생성된 경위와 근거를 추적·검토해야 한다면, RAG이 필요합니다.
기업이 자체 구축한 LLM을 기반으로 일반 사용자가 쓸 수 있게 만들어진 대화형 AI 챗봇 서비스가 계속 다양해지고 있지만, 아직 공개 시범 제공 단계인 서비스가 많습니다. 정식 출시된 서비스라고 해도 “우리 AI 기술은 완전하지 않으므로 결과물을 활용할 때 유의하라”고 안내하지, “곧바로 기업 실무에 도입해도 문제를 일으키지 않으며 혹시 문제가 생긴다면 책임지겠다”고 자신하는 기업은 찾아보기 어렵습니다. LLM을 미세조정하는 것, 성능을 끌어올리는 것으로는 업무 목적에 맞는 응답 품질과 정확도, 안전성을 보증하기 어렵기 때문입니다.
RAG 접목한 생성 AI, 어떻게 활용할 수 있을까
국내에서 RAG와 생성 AI 기술로 업무를 최적화한 사례는 드물지만 조금씩 공개되고 있습니다.
2024년 3월 15일 공개된 삼성SDS 인사이트 리포트에 따르면 삼성SDS Gen AI 해커톤에서 삼성클라우드플랫폼을 활용한 고객 기술지원 업무에 부분적으로 RAG을 활용한 사례가 발표됐습니다. 이 사례는 텍스트, 문서, 웹페이지, 프로그래밍 언어로 작성된 코드 등을 가져와 사용자에게 제공할 답변을 생성하는데, 삼성SDS는 이 사례를 소개하면서 “미래의 RAG는 텍스트뿐만 아니라 이미지, 음성, 영상 등 다양한 형태의 데이터를 처리하는 멀티 모달 기능과 결합하여 풍부하고 다양한 정보를 처리하는 데 기여할 것”이라고 전망하고 있습니다. 또 “RAG가 다루는 데이터는 기업 내부의 민감한 사항들을 담고 있기 때문에 데이터 암호화뿐만 아니라 Vector Store, Embedding Model, LLM 같은 RAG 구성 요소들 역시 외부로의 노출이 없도록 안정성을 보장할 수 있는 방안이 필요하다”면서 “이런 점들을 고려하여 RAG 기반의 AI 기술을 활용한다면, 기업에서는 업무 생산성을 향상하고 지식 공유 및 협업을 강화할 수 있다”고 기대했습니다.
2024년 8월 5일에는 포스코홀딩스가 소재 뉴스 동향 리포팅 및 지식검색 Q&A 시스템에 고성능 RAG 아키텍처와 문서 처리 AI, 구글클라우드의 ‘제미나이 1.5’ 모델을 활용했다고 밝혔습니다. 2024년 8월 7일 LG AI연구원도 자체 AI 모델 ‘엑사원 3.0’을 소개하고 이를 활용한 LG 임직원용 AI 서비스 ‘챗엑사원’ 시범 서비스를 시작했다고 발표했어요. 챗엑사원은 사용자가 입력한 질문(프롬프트) 맥락을 파악해 RAG 기술로 실시간 웹 검색 결과를 활용하며 최신 정보를 반영한 답변을 제공한다고 합니다.
기업 시장에서 생성 AI를 활용하기 위해 물밑에서 다양한 실험이 이뤄지고 있는 분위기입니다. RAG 관련 솔루션을 제공하는 IT서비스, 소프트웨어 기업들이 발빠르게 움직이고 있습니다.
솔트룩스는 2024년 5월 30일 생성 AI 기술을 주제로 개최한 ‘SAC 2024’ 콘퍼런스에서 자체 LLM ‘루시아2’의 성능과 이를 활용하는 AI 시스템의 RAG를 지원하는 에이전트 루시아, 루시아 임베딩 기능을 소개했습니다. 7월 3일에는 루시아 LLM과 그래프 RAG 기술을 적용한 AI 챗봇 ‘애스크 구버’를 탑재한 AI 기반 검색 서비스 ‘구버’를 한국과 미국 시장에 시범 서비스로 출시했고, 7월 25일에는 디지털플랫폼정부위원회, 과학기술정보통신부 주관 ‘2024년 초거대 AI 기반 서비스 개발 지원사업’으로 특허청 특허심사 업무 지원 서비스를 개발하면서 루시아 RAG 기술을 적용한다고 발표했습니다.
클라우드 관리형 서비스 사업자(MSP)인 베스핀글로벌은 2024년 7월 조직 개편으로 데이터 AI 본부를 신설하고 RAG 등 AI와 데이터 플랫폼 구축, 컨설팅 관련 사업을 수행하는 데 힘을 더 싣기로 했어요. 같은 달 메타넷그룹의 MSP인 메타넷티플랫폼은 기업용 AI 언어모델을 개발하는 스타트업 스켈터랩스를 인수해 이 회사가 제공하는 RAG 관련 제품을 비롯한 기업용 AI 기술 역량을 강화했다고 밝혔고요. 또 다른 클라우드 MSP인 클루커스는 7월 말 출범한 ‘AI 트랜스포메이션 얼라이언스’에 함께 참여한 기업들과 AI 인프라 구축, 데이터 전처리, RAG 구축을 포함한 LLM 등 기술 사업에 협력하기로 했습니다.
—
솔트룩스 네이버블로그 ‘인공지능 인사이트’ 필진으로서 작성한 스물일곱 번째 정기 원고. 240923 솔트룩스 네이버블로그 포스팅으로 게재됨. 250127 개인 블로그에 원문 비공개로 올림. 250328 공개로 전환.