[기고] LLM 폭풍전야… 오픈AI-오픈소스 각축 예고

로봇과 여자아이
로봇과 여자아이 [사진=Pixabay]
챗GPT의 핵심 기능을 수행하는 오픈AI의 거대 언어 모델(LLM)인 GPT-4는 사람이 입력한 언어를 ‘토큰’이라는 데이터 조각으로 변환한 다음 대규모 계산을 통해 그 뒤에 이어질 수 있는 단어와 문장을 지어냅니다. 이론적으로 같은 일을 수행하는 다양한 언어 모델이 있지만 GPT-4의 결과물은 너무나 자연스럽게 온갖 주제의 질문에 그럴싸한 답변을 하고 사용자가 시킨 범주에 맞게 결과물을 내놓는다는 점에서 특별하게 인식되고 있지요. GPT-4의 핵심 알고리즘인 트랜스포머(Transformer)를 먼저 고안한 미국 빅테크 기업 구글보다도 발빠르게 챗GPT라는 혁신적인 서비스를 선보인 오픈AI는 구글의 경쟁사인 마이크로소프트에 상당한 자금 투자와 인공지능 연산에 필요한 클라우드 인프라를 제공받았습니다. 오픈AI는 챗GPT를 작년 11월 처음 출시하고 불과 두 달 만에 주간 활성 이용자 수 1억 명을 달성했을 만큼 전 세계에 빠르게 확산됐고, 이후 여러 빅테크 기업이 뛰어든 LLM 기반 기술 및 응용 서비스 경쟁에서 사실상 선두를 달리고 있는 회사로 인정받고 있지요.

그런데 2024년 새해부터는 LLM 세계 판도가 달라질 수 있겠습니다. 오픈AI에 뒤처져 있다고 생각했던 많은 경쟁자들이 급속도로 추격해 오고 있기 때문인데요. 오픈AI 스스로도 GPT-4 개발과 상용화를 위해 작은 비영리 민간 연구소에서 영리 법인으로 전환한 기술 스타트업 회사로 변신하는 사이에 혼란기를 겪으면서 주춤하고 있고요. 자칫하면 경쟁자들에게 선두 지위를 빼앗길 수도 있어 안심할 수 없는 상황이죠. 이전부터 오픈AI를 의식하고 2023년 내내 LLM 신기술을 적극적으로 선보인 구글뿐 아니라 그 동안 오픈AI의 우군 역할을 해 온 마이크로소프트, 그리고 오픈AI의 영광을 재현하려는 새로운 LLM 연구 개발 스타트업 회사들의 움직임이 두드러지고 있습니다. 이들이 2024년 한 해 전 세계 IT 산업계와 LLM 분야에 뜨거운 경쟁을 몰고 올 것 같아요.

먼저 얼마 전 오픈AI에서 있었던 일을 좀 살펴보죠. 챗GPT는 2023년 11월 챗GPT 유료 버전 사용자를 위해 기능과 성능을 개선한 ‘GPT-4 터보(Turbo)’를 선보이면서 서비스를 시작한 이래 처음으로 대규모 서비스 장애를 겪습니다. 이 장애는 미국 동부 시간 기준 11월 8일 오전에 1시간 30분가량 챗GPT 접속이 원활하지 않았던 것인데요. 당시 접속 장애 원인에 대해서 별다른 설명은 없었다고 합니다. 과거 챗GPT가 보였던 간헐적인 인프라 불안정 상태와 다르게 1시간 이상 접속 장애를 일으켰다는 점은 오픈AI가 앞으로 더 많은 사용자를 수용하기 위해 인프라 운영 노하우와 자원, 기술적인 수준을 개선해야 한다는 것을 시사합니다. 하지만 이러한 요구사항은 여전히 일개 스타트업 기업에 불과한 오픈AI에는 그를 추격하고 있는 다른 빅테크 기업들과 경쟁하기에 다소 불리한 조건이 될 수 있겠죠.

오픈AI에 인프라 안정성은 점점 중요해지고 있습니다. 오픈AI가 2023년 11월 GPT-4 터보와 함께 공개한 게 있는데요. 2023년 12월 중 ‘GPT 스토어’를 출시하겠다고 했어요. GPT 스토어는 GPT-4 터보 기반으로 코딩 지식 없이 맞춤형 챗봇을 손쉽게 제작할 수 있는 도구(GPTs)를 제공하고, 이걸 다른 사람에게 판매할 수 있는 앱스토어 같은 공간입니다. GPTs는 챗GPT를 특정 용도에 쓸 수 있는 ‘맞춤형 버전(custom versions)’으로 만든 거죠. 예를 들어 챗GPT 챗봇을 iOS나 안드로이드 기기 사용자에 맞는 인터페이스로 만들거나 일정 조건을 충족하는 시점에 지정한 동작을 수행하도록 만들 수 있겠네요.

모바일 기기 사용자를 위한 편의 기능을 제공하는 서드파티 앱은 이전에도 많았지만, GPTs로 만든 건 기존 앱과는 다를 거예요. 이전까지는 사용자가 모바일 기기를 좀 더 편리하게 쓰기 위해 서드파티 앱이라는 새로운 도구를 학습하고 적응하기까지 어느 정도는 시간과 노력을 들여야 했잖아요? 하지만 챗GPT는 사람의 언어로 소통하고 명령을 수행하는 기계예요. GPTs도 그렇겠죠. 단순히 말해서, 아무것도 배우지 않은 사용자도 GPTs를 사용한다면 그 맞춤형 버전 기능을 통해 모바일 기기를 전보다 더 편리하게 쓰거나 입맛대로 조작할 수 있게 됐다는 얘기입니다. GPTs와 GPT 스토어의 출시는 챗GPT의 대중화를 가속할 거고, 그렇다면 기존의 뛰어난 LLM 기술에 더해 훨씬 더 많은 사람들이 일상적으로 이 서비스를 이용하는 내내 안정적으로 운영되는 뛰어난 인프라 엔지니어링 기술이 필요하겠죠.

오픈AI가 안고 있는 과제는 기술적인 부분만이 아닙니다. 경영진과 구성원들의 연결고리인 리더십과 조직 문화에서도 균열이 일어나지 않도록 신경 써야 할 부분이 있죠. 실은 오픈AI가 이런 점에서 상당히 취약한 측면이 있었다는 것을 드러낸 사건이 있습니다. 지난 11월 17일 샘 올트먼 오픈AI 설립자 겸 최고경영자(CEO)가 갑자기 이사회에서 해임된 일이 있었어요. 그는 불과 5일만에 다시 이사회에 의해 CEO로 복귀했습니다만, 내부 사정을 들여다보면 이 사건의 여파는 앞으로 오픈AI가 쾌속 전진하기 어렵게 만들 여지도 있습니다. 올트먼 CEO는 그렉 브록먼 사장, 일리야 수츠케버 최고과학자와 오픈AI를 공동 설립했고 이 세 사람은 오픈AI 사내이사였습니다. 그 중 수츠케버가 사외이사들과 공모해 사내이사인 올트먼을 해임했는데요. 이 과정은 직원, 투자자, 파트너와 충분한 상의 없이 갑작스레 결정된 의사결정 때문에 문제가 됐죠.

사람 형상 말이 놓인 체스판
사람 형상 말이 놓인 체스판 [사진=Pixabay]
올트먼은 자신이 해임된 직후 오픈AI 투자사였던 마이크로소프트에 합류하기로 합의했다가, 오픈AI의 직원 95% 이상이 올트먼을 복귀시키지 않으면 퇴사하겠다는 연서명을 하는 등 사내 복귀 요구와 외부 투자자들의 설득, 중재 과정을 거쳐, 11월 21일 극적으로 복귀합니다. 브렛 테일러 전 세일즈포스 CEO가 새로운 이사회 의장을 맡고, 올트먼의 복귀를 도운 마이크로소프트 소속 임원도 이사진에 합류하기로 했죠. 올트먼의 복귀를 반대한 사외이사들은 모두 해임되는 등 주요 이사진이 교체됐습니다. 경영진들 간의 내분이라는 좋지 못한 이미지와 직원들의 혼란, 그리고 이 어수선한 분위기로 인해 연내 출시를 계획했던 GPT 스토어의 출시 지연이라는 손실을 입었죠. 그럼에도 일종의 ‘쿠데타’로 불린 이 사건의 결말에 대해 사티아 나델라 마이크로소프트 CEO는 “이번 오픈AI의 이사진 교체를 환영한다”며 “이 변화는 효과적인 지배구조를 위한 첫걸음”이라고 논평했습니다. 올트먼도 자신의 X(전 ‘트위터’) 계정에 “새로운 오픈AI 이사회와 나델라 CEO의 지원으로 오픈AI로 복귀하게 된 만큼, 향후 마이크로소프트와 강력한 파트너십을 구축하길 기대한다”고 말했어요.

미래에도 오픈AI와 마이크로소프트의 협력이 지속될 것이라는 점에 의심할 여지가 없지만, 이 지점에서 더 눈길을 끄는 건 마이크로소프트의 최근 행보입니다. 영어권 IT매체 디인포메이션은 2023년 9월 보도를 통해 마이크로소프트가 오픈AI에 대한 의존도를 줄이려고 한다는 메시지를 담은 뉴스를 보도합니다. 익명의 마이크로소프트 전·현직자를 인터뷰한 이 보도에 따르면 마이크로소프트는 1500명 규모 연구부서 임원이 일부 구성원에게 사내에서 대화형 인공지능을 개발하되, 오픈AI의 GPT-4보다 더 규모가 작고 운영비용이 저렴한 수준으로 만들라고 주문했어요.

앞서 마이크로소프트는 오픈AI에 필요한 고성능 GPU 클라우드 인프라를 제공하는 대가로 GPT-4와 같은 최신 LLM 기술을 코드 수준에서 독점 사용할 수 있는 권리를 얻었습니다. 그리고 ‘마이크로소프트 365’ 같은 클라우드 기반 오피스 프로그램이나 빙 검색 서비스에 GPT-4 기반 챗봇 기능을 결합하기도 했죠. 최근에는 데스크톱 운영체제인 윈도11에 쓸 수 있는 인공지능(코파일럿)도 배포하기 시작했고요. 핵심 제품에 오픈AI 기술을 활용한 신기능을 긴밀하게 통합하고 있는 마이크로소프트가 다른 LLM을 만들고 싶어 한다는 것은 다소 의외가 아닌가 싶기도 한데요.

짐작컨대 마이크로소프트의 속사정은 이렇습니다. 마이크로소프트는 오픈AI와 협력해 선도적인 GPT-4 LLM 기술에 대한 접근을 독점함으로써 경쟁자들의 추격 속도를 늦추는 작전에 일단 성공한 상태입니다. 그렇지만 그 대가로 오픈AI가 쓸 수 있는 GPT-4와 이후 GPT 시리즈용 GPU 클라우드를 제공하는 비용, 그리고 마이크로소프트 자체 제품에 통합한 GPT-4 기반 인공지능 서비스를 운영하는 데 필요한 인프라 비용을 감수하고 있죠. 정확한 비용 구조는 알려지지 않았지만, 오픈AI의 챗GPT 유료 버전이 그 성능을 내는 데 필요할 것으로 추정되는 인프라의 운영 비용에 비해 그 가격(월 20달러)은 터무니없이 저렴하다는 게 업계 중론입니다. 마이크로소프트는 오픈AI가 벌어들이는 돈의 일부를 받고 있을 텐데, GPT-4를 결합한 자체 기업용 클라우드 서비스 가격을 크게 높이지는 않았을 거예요. 제공하는 기술의 수준에 비해 충분한 돈을 받지 않는 이유는 시장 선점을 위해 의도된 것이기 때문입니다. 다만 돈을 벌어야 하는 회사로서 영원히 손실을 감당할 수는 없으니, GPT-4를 대신할 만한 성능을 훨씬 저렴한 비용으로 달성할 수 있는 기술을 확보하는 게 마이크로소프트에 명확하고 시급한 과제가 되었을 것입니다. 이렇게 보면 오픈AI가 아니라 다른 LLM 보유 기업과 마이크로소프트가 손잡는 일도 무척 자연스러운 얘기죠.

실제로 마이크로소프트는 2023년 7월 메타(전 ‘페이스북’)와 손잡고 이 회사가 개발한 LLM ‘라마2(Llama2)’를 기업용 클라우드 서비스에 사용할 수 있는 협력을 맺었습니다. 모바일용 프로세서 설계 업체 퀄컴이 메타와 협력해 2024년부터 스냅드래곤 기반 기기로 라마2 기반 인공지능을 가동할 수 있게 지원하겠다고 밝히기도 했고요. 퀄컴 ARM 칩을 탑재한 윈도와 안드로이드 기기에서 마이크로소프트와 메타가 협력해 개발한 라마2 기반 인공지능 서비스가 제공될 수 있겠네요. 실리콘밸리 스타트업 동향을 다루는 CB인사이츠는 12월 4일 공식 유튜브 영상을 통해 마이크로소프트가 오픈AI 외에도 많은 인공지능 스타트업에 투자하고 있다는 점도 짚었어요. 그 투자처에는 공간데이터 합성 기술 기업 ‘블랙샤크AI’, 인공지능 컴퓨팅 플랫폼 기업 ‘d-매트릭스’, 기업용 데이터 합성 기술 기업 ‘헤이지’, 게임 속 NPC 생성기술 업체 ‘인월드’, 게임 엔진 개발 기업 ‘모들AI’, 마케팅 콘텐츠 제작사 ‘타입페이스’, 인간기계인터페이스(HMI) 기술 기업 ‘어뎁트’ 등이 포함돼 있었죠.

결국 오픈AI가 초기 시장을 선도하고 있다 하더라도 마이크로소프트와 영원히 한 몸처럼 움직이진 않을 겁니다. 비즈니스 세계에서 영향력 확대를 위한 신생 언어 모델과의 경쟁이 지속될 수밖에 없습니다. 일례로 영미권 외에도 중동에서 개발된 LLM이 있습니다. 오픈소스로 공개돼 다른 언어권에서는 이 쪽의 기술 수준도 주시하고 있는 상황이죠. 중동에서는 아부다비 기술 혁신 연구소(TII)가 ‘팰컨(Falcon)’이라는 LLM을 만들어 선보였어요. 영어를 기본 지원하는 영미권 LLM은 중동에서 많이 쓰이는 아랍어 처리 성능이 떨어지는 편인데, 이 점에 착안해서 팰컨이 연구되었다고 합니다. 팰컨은 아랍어 처리 성능이 뛰어나고 영어 또한 원활하게 다룰 줄 아는 모델로 알려져 있습니다.

피규어 모델로 묘사된 가상의 전장
피규어 모델로 묘사된 가상의 전장 [사진=Pixabay]
팰컨의 성능과 효율을 자랑하는 연구소 공식 웹사이트 소개 문구를 그대로 옮겨 볼게요. “팰컨 180B는 1800억개의 매개변수를 갖춘 초강력 언어 모델로, 3조5000억개 토큰을 훈련했습니다. 현재 사전 훈련된 개방형 언어 모델 부문 허깅페이스 리더십 보드의 최상위에 있으며 연구용과 상업용으로 모두 쓸 수 있습니다. 이 모델은 추론, 코딩, 유창성, 지식 테스트 같은 다양한 작업에서 뛰어난 성능을 발휘하며 메타의 라마2 같은 경쟁자를 넘어섭니다. 비공개형 언어 모델 중 오픈AI의 GPT-4를 바로 뒤잇는 수준이며 모델 크기가 절반 수준임에도 구글 바드를 지원하는 팜2 라지(PaLM2 Large)와 맞먹는 성능을 냅니다.”

아랍에미리트는 아부다비 첨단기술연구위원회(ATRC)를 통해 팰컨 LLM을 활용하는 새 인공지능 기술 기업 ‘AI71’을 출범하고 확산에 나섰습니다. 2023년 12월 6일 AI71 출범 소식에서 아부다비공보청(ADMO)은 “AI71은 더 넓은 경제 전반에 인공지능 활용을 늘리고자 합니다”라면서 “아랍에미리트와 그 외 지역에서 인공지능을 우선시하는 생태계를 조성하기 위한 기회를 마련할 계획”이라고 밝혔어요. 또 “기업, 산업 및 정부에 영향력을 발휘함에 따라 벤처원은 다양한 분야의 증가하는 수요를 충족하기 위해 여러 부문에 특화된 솔루션을 선보일 예정”이라고 덧붙였죠. 여기서 언급된 ‘벤처원’은 ATRC 산하기관인데, AI71을 통해 데이터를 비공개로 유지하고자 하는 기업, 해외 정부 기관 등 인공지능을 활용하면서 데이터 주권을 중요시하는 프로젝트에서 차별성을 발휘할 수 있게 지원할 것이라고 합니다.

비즈니스 언어 모델 도입을 검토하는 각국 기업은 GPT-4 같은 특정 언어 모델 하나에 의존할 수 없어요. GPT-4가 세상에 존재하는 모든 비즈니스 문제를 해결할 수는 없고, 설령 그럴 수 있다 해도 모든 문제 해결에서 가장 효율적인 해법을 제공할 수는 없을 것이기 때문이죠. 문제를 해결할 수 있는 비용과 효율을 중시하는 비즈니스 환경에서는 결국 다양한 상황에 맞게 선택할 수 있는 대제재를 찾아야 합니다. 이걸 잘 알고 있는 마이크로소프트, 그리고 경쟁사인 아마존웹서비스나 구글클라우드 등 클라우드 서비스 업체들은 결국 모든 상황에 자체 LLM의 채택을 쓰도록 권하기 보다는 주요 파트너의 언어 모델 외에 다양한 기술을 제공하는 방향으로 가려고 할 것입니다.

오픈AI가 이 시장에서 선두를 달리고 있는 것이 무조건 유리하지만은 않다고 볼 이유도 여기에 있는데요. 초기 시장을 선점해 그 이름은 널리 알렸을지라도 실제 비즈니스 환경에서 기업 고객의 문제를 해결하는 능력을 갖추는 것은 또 다른 문제이며 훨씬 많은 비(非)기술적 자원이 투입돼야 하는 영역이기 때문이죠. 오픈AI의 이러한 능력은 파트너십을 통해서 확충될 가능성이 높습니다. 이미 챗GPT를 활용하는 외부 기업들이 챗GPT의 API를 활용해 다양한 신규 서비스를 내놓았는데, 이걸로 기업의 문제를 해결하는 방식에 대해 오픈AI가 적극적으로 장려책을 마련하겠죠. 또한 오픈AI의 기술 생태계 안에서 해결할 수 없는 문제를 더 효율적인 LLM과 소규모 언어 모델 기술로 해결하는 방법도 더 활발하게 개발될 것으로 보입니다. 오픈AI와 다른 상업적 언어 모델, 오픈소스 진영 간 각축전이 벌어질 것으로 예상되는 이유입니다.

한국 기업들의 성장 잠재력도 무궁무진하다고 봅니다. 중견 인공지능 개발 회사인 솔트룩스가 올해 9월 자체 언어모델 ‘루시아GPT(LUXIA GPT)’와 이에 기반하는 기업용 솔루션을 공개했습니다. 루시아GPT는 기업의 검색포털과 지식관리시스템에서 찾아낸 지식을 활용해 기업 내 사용자에게 요약된 정보 검색 결과, 응답을 제공하고 ‘루시아 챗봇’으로 대화형 정보 제공을 수행할 수 있습니다. 솔트룩스는 기업의 활용 목표와 데이터에 따라 매개변수가 130억~1000억개인 다양한 규모의 언어 모델을 제공하고 사용자 질의 분석을 통한 차별화된 답변, 정확도 높은 답변을 얻도록 돕는 전문 프롬프터 지시문 설계, 고객 데이터 연계를 통한 환각 현상 최소화, 연계 정보를 활용한 최신성 보장 등을 강점으로 내세웁니다.

국내 인공지능 스타트업 회사인 업스테이지도 자체 소형 언어모델인 ‘솔라(Solar)’를 통해 허깅페이스 오픈 LLM 리더보드 1위를 차지했다고 지난 12월 14일 발표했습니다. 성능 평가를 받은 솔라 모델의 매개변수는 110억개 수준으로 중국 알리바바 모델 QWEN(매개변수 720억개)보다도 작은 크기에 더 높은 점수를 기록해 눈길을 끌었어요. 업스테이지는 이 모델을 기반으로 기업이 자사 데이터와 목적에 맞게 모델에 추가 훈련을 수행하고 다양한 인공지능 서비스를 구축해 운영할 수 있게 될 것이라고 강조했죠.

솔트룩스 네이버블로그 ‘인공지능 인사이트’ 필진으로서 작성한 스물한 번째 정기 원고. 231227 솔트룩스 네이버블로그 포스팅으로 게재됨. 240114 개인 블로그에 원문 비공개로 올림. 241125 공개로 전환.