그런데 한 구글 엔지니어가 자신이 속한 구글, 그리고 경쟁사인 MS의 핵심 기술 협력사인 오픈AI가 모두 AI 기술 경쟁 환경에서 장기적으로 승리할 수 없는 국면을 맞이했다는 진단을 내렸습니다. 이 엔지니어는 이러한 자신의 생각을 정리한 글을 사내에서 동료들에게 공유했는데, 얼마 전 외부에 유출되었죠. 2023년 5월 5일 영국 일간 매체 가디언이 그렇게 유출된 구글 내부 문건의 내용을 인용해 “구글은 한 엔지니어에게서 이 회사가 A 경주에서 승리할 수 있는 위치를 점하지 못했고 보편적으로 쓸 수 있는(commonly available) AI 기술에 패배할 수 있다는 경고를 받았다”고 보도했습니다.
IT거인 MS의 어깨 위에 올라탄 오픈AI, 이들과 본격 경쟁에 돌입한 구글
일단 무슨 일이 벌어지고 있었는지 짚기 위해 오픈AI 얘길 먼저 해 보죠. 오픈AI는 텍스트를 생성(generative)하는 기능에 특화한 ‘GPT(Generative Pre-trained Transformer)’ 시리즈를 개발해 온 곳으로 유명합니다. 시간을 대략 6개월 전으로 되돌려 보면, 오픈AI는 2022년 11월 말에 챗GPT(ChatGPT)라는 AI 챗봇 서비스를 선보이면서 전 세계에 이른바 ‘초거대 AI 모델’ 열풍을 일으켰습니다. 챗GPT는 사람이 입력한 텍스트 명령이나 일상적인 질문을 이해하고 실제 사람이 답하는 듯한 자연스러운 문장을 돌려주는 모습으로 많은 사람들에게 놀라운 인상을 남겼지요.
챗GPT가 어느날 갑자기 하늘에서 뚝 떨어진 것은 아닙니다. 오픈AI는 챗GPT의 초기 기반 기술로 오픈AI는 2020년 6월 공개한 ‘GPT-3’의 업그레이드 버전인 ‘GPT-3.5’를 적용했고, 올해 3월부터는 GPT-4를 적용하고 있습니다. GPT-3 이전에는 2019년 공개된 GPT-2, 2018년 공개된 GPT-1이 있었죠. 각 버전은 앞서 공개된 기존 버전의 AI 모델 연구 성과를 활용하고 있습니다. 오픈AI는 GPT-2까지 모델의 기술적인 정보와 함께 실제 개발된 모델을 오픈소스로 공개하다가 GPT-3부터는 모델 자체를 공개하는 것을 중단했습니다. GPT-4는 아예 이 모델이 어떤 데이터를 사용했고 어떤 구조와 매개변수로 학습했는지조차 구체적으로 알려져 있지 않습니다.
오픈AI는 모델 자체를 공개하는 방식을 취하는 대신에 최신 GPT 시리즈를 파트너이자 투자처인 MS의 클라우드 서비스에 올려 놓고 개발자를 위한 외부 API 서비스로 판매하고 있습니다. API 서비스는 개발자가 만드는 서비스나 애플리케이션에서 특정한 값이나 정보를 전달받아 일정한 계산이나 가공 작업을 처리해 주는 상품입니다. 개발자는 자신의 소프트웨어에 필요한 동작을 일일이 개발하지 않고 이러한 외부 API를 활용해 빠르고 효율적인 애플리케이션과 서비스를 만들 수 있죠.
오픈AI가 제공하는 API 서비스를 활용하면 이 회사가 만든 초거대 AI 모델의 고성능 AI 기술을 이용하는 프로그램을 외부의 개발자들이 자유롭게 만들 수 있게 됩니다. 물론 이 API를 이용하는 덴 상응하는 비용을 치러야 하지요. 오픈AI뿐 아니라 이 회사와 파트너십을 맺고 있는 MS도 클라우드 기반 기업용 AI 개발 플랫폼 ‘애저 AI’에 오픈AI의 초거대 AI 모델 기술을 제공하는 ‘애저 오픈AI 서비스’라는 상품군을 추가해 상용화했고요.
또 MS는 오픈AI의 GPT-4 개발에 전적으로 협력했고, 직접 인터넷 검색 서비스 ‘빙(Bing)’와 ‘마이크로소프트365’ 같은 기업용 소프트웨어 제품 전반에 GPT-4의 기술을 활용하면서 초거대 AI 모델 기반 신사업을 강화하는 중입니다. 이런 MS의 전략은 구글이 인터넷 검색 시장에서 부동의 1위를 지켜 왔지만 비즈니스 성장은 정체한 가운데 ‘구글 워크스페이스’라는 이름으로 기업용 업무 솔루션 시장에서 MS의 점유율을 빼앗고 수익성을 확보하기 위해 애쓰는 상황에서 직접적인 위협으로 보이게 됩니다.
그럼에도 구글 수석 엔지니어는 “우리에게는 해자(Moat)가 없고 오픈AI도 마찬가지” 우려
반도체 시장조사 및 컨설팅 업체인 세미애널리시스(SemiAnalysis)가 2023년 5월 4일 자신들의 뉴스레터 플랫폼에 문제의 구글 내부 문건을 게재했습니다. 미국 경제 매체 블룸버그 보도에 따르면 구글의 수석 소프트웨어 엔지니어인 루크 서나우(Luke Sernau)가 이 글을 쓴 인물입니다. 엄밀히 말해 이 사람은 구글이라는 회사의 전체 입장을 대변하거나 회사의 견해를 대표하지는 않는다는 뜻입니다. 하지만 이 사람은 자신의 전문 분야인 소프트웨어 영역의 경험과 논리를 바탕으로 현재 벌어지고 있는 AI 기술 및 비즈니스 경주에서 회사가 지금과는 다른 전략을 취해야 한다는 주장으로 동료들을 설득하고자 했습니다. 5월 초 언론 보도를 통해 IT 업계에 회자된 문제의 글은 그가 2023년 4월 사내 시스템에 “우리에게는 해자가 없다(We Have No Moat)” “그리고 (해자가 없기는) 오픈AI도 마찬가지다(And neither does OpenAI)”라는 제목으로 작성해 올린 글이었죠.
서나우 엔지니어가 보기에 구글의 문제는 이렇게 요약됩니다. 챗GPT나 그 기반 기술인 GPT-4를 만든 오픈AI, 이에 맞서기 위해 또 바드라는 AI를 챗봇 선보이고 그 기반 기술인 초거대 AI 모델을 고도화하고 있는 구글, 모두 소프트웨어 기술 세계에서 전략적으로 잘못된 길을 가고 있다는 것이죠. 그가 쓴 글에서 초반부인 다음 몇 문단이 이러한 점을 지적하는 내용입니다.
“… 우리가 싸우는 동안 제3의 진영(a third faction)이 조용히 우리 몫을 먹어 치웠습니다. 저는 물론 오픈 소스에 대해 얘기하는 겁니다. 쉽게 말해 그들은 우리를 난타하고 있어요. 오늘날 우리가 ‘해결되지 않은 주요 문제’라고 여기는 것들은 (오픈소스 커뮤니티에 속한) 사람들 손으로 해결됩니다. 몇 가지 예를 들면 … (중략) … 우리 모델이 품질 면에 미세한 우위(slight edge)를 점하고 있지만 이 격차는 놀라울 정도로 빠르게 줄고 있어요. 오픈소스 모델은 더 빠르고, 더 맞춤화 가능하고, 더 강력합니다. 우리가 1000만 달러와 5400억개 매개변수로 씨름하는 일을 그들은 100달러와 130억개 매개변수를 갖고 해결하려고 합니다. 그리고 그들은 몇 달이 아니라 몇 주 만에 그렇게 하고 있죠. …”
서나우 엔지니어는 세 가지 방법론으로 구글이 경쟁 우위를 강화해야 한다고 주장합니다.
첫째는 외부 개발자가 구글 초거대 AI 모델에 기술적으로 기여할 수 있게 만드는 것입니다. 이를 위해 초거대 AI 모델 연구 과정과 결과물을 폐쇄적으로 유지하기보다 외부 연구자들이 접근할 수 있는 통로를 만들고 이들이 참여할 커뮤니티를 관리할 필요성이 있다는 점을 환기하죠. 그가 “우리의 최선의 희망은 다른 사람들이 구글 밖에서 하는 걸 배우고 (그들과) 협력하는 것”이라며 “제3자 통합 실현에 우선순위를 둬야 한다”라고 쓴 것이 이 아이디어에 해당합니다.
둘째는 이미 빠르게 구글의 AI 기술 경쟁력을 뒤쫓고 있는 외부 오픈소스 기반 AI 모델의 발전과 상용화 흐름에 대비해야 한다는 것입니다. 그가 “자유롭고 제약이 없는 대안의 품질이 경쟁력 있는 수준이 되면 사람들이 제약 있는 모델에 비용을 지불하지 않을 것”이라면서 “우리는 우리가 실제로 어디에 가치를 더할 것인지 고민해야 한다”고 당부한 것이 이 부분입니다.
셋째는 현재 개발된 초거대 AI 모델에 요구되는 고비용과 장기간의 연구개발 방식이 오히려 경쟁자의 추격을 따돌리기 어려운 상황이기 때문에, 상대적으로 규모가 작은 모델 개발을 병행해야 한다는 것입니다. 그가 “거대 모델이 우리가 움직이는 속도를 늦추고 있다”면서 “장기적으로 (모델 개선 작업을) 빠르게 반복할 수 있는 것이 최고의 모델이 될 것”이라고 예측하고, 구체적으로 “우리는 200억개 매개변수 체제에서 가능한 것들이 무엇인지 이제 알았기 때문에 (현재 개발된 초거대 AI 모델의) 소규모 변형 모델을 만들어야 한다”고 얘기하는 것이 이 부분입니다.
사실 지금과 같은 초거대 AI 모델 개발 경쟁에 불을 붙인 것은 구글 연구자들이 아낌없이 공개한 논문이었습니다. 구글이 2017년 발표한 논문 “Attention is all you need”에서 트랜스포머라는 이름의 AI 모델 설계구조와 이를 구현하는 알고리즘을 제안했는데, 오픈AI가 만든 GPT 시리즈가 이 트랜스포머의 구조와 규모를 변형하고 응용해서 탄생했고 발전한 것이죠. 하지만 이번에 구글이 팜2 관련 기술 논문에 이 모델을 연구하기 위해 필요한 정보를 구체적으로 제시하지 않은 것은 어느 정도 예견된 상황이었습니다. 오픈AI가 2023년 3월 GPT-4의 매개변수 크기 등 규모나 개발 방법을 일종의 기밀로 취급하기 시작했거든요.
2015년 10월 설립 당시 오픈AI는 인류에 기여하는 공익적인 AI 연구를 추구하는 비영리 민간 연구소를 표방했기 때문에 이후 수년 간 연구 결과물을 사회에 공개해 왔는데요. 이제 태도를 바꿔 정보나 기술 공개를 제한하고 수익화에 더 치중하는 모습이 시민 사회의 비판을 초래하고 이러한 오픈AI의 선택이 학계 전반에 나쁜 영향을 끼칠 것이라는 우려도 낳았죠. 정보 공개에 인색해진 구글의 태도는 결국 기술 유출을 차단하기 위한 것 아닐까 싶습니다. 구글이 공개한 논문의 덕을 보고도 정작 자신들의 기술을 폐쇄적으로 유지하려 한 오픈AI의 결정을 의식할 수밖에 없었겠지요. 하지만 구글에서 동료들에게 서나우 엔지니어가 주장한 내용 대로라면 이러한 선택이 미래에 구글의 경쟁 우위를 약속해 주진 못할 것으로 보입니다.
오픈AI와 구글의 폐쇄적 접근법과 상반된 ‘오픈소스’ 전략으로 앞서 나가는 메타
세계 최대 사회관계망서비스(SNS)인 페이스북과 사진 공유 커뮤니티 인스타그램을 운영하는 메타 역시 초거대 AI 모델 연구에 열을 올리고 있는 것으로 보입니다. 마크 저커버그 창업자 겸 최고경영자가 2022년 ‘메타버스’ 비전을 실현하기 위해 향후 10년 동안 집중하겠다고 선언했고 이 때문에 회사 이름도 페이스북에서 메타로 바꿨죠. 하지만 이전부터 AI 연구는 계속 해 왔고 올해 들어 빅테크 기업들의 초거대 AI 기술 발표가 이어지자 메타도 이에 가세했죠.
2023년 5월 22일 이 회사의 AI 연구조직은 공식 블로그를 통해 4000여개 음성 언어를 식별하고 1100개 언어를 음성에서 텍스트, 텍스트에서 음성으로 변환해 주는 ‘대규모 다국어 발화(MMS·Massively Multilingual Speech)’ 프로젝트 기반 AI 모델을 공개했습니다. 이 AI 모델, MMS는 텍스트와 음성 변환이 가능한 언어 수를 기존 10배가량 확대하고 음성으로 식별 가능한 언어 수를 40배 정도 늘렸다고 하네요. 또 오픈AI의 음성인식 모델 ‘위스퍼’보다 11배 많은 언어를 처리하면서 오류율을 절반으로 낮췄고요. 메타는 MMS를 소스코드 공유 사이트 깃허브에서 지원 언어 수와 규모에 따라 3가지 버전으로 나눠 무료로 제공하고 있습니다.
구글 내부 유출 문건 작성자인 서나우가 경고한 것 하나가 오픈소스 커뮤니티와의 교류나 협력에 유리한 기업이 초거대 AI 연구에서 승기를 거머쥘 것이라는 점인데, 메타가 바로 그런 회사일 수 있습니다. 메타가 MMS를 발표하기 전에 부분적으로 공개했던 텍스트 처리용 AI 모델 ‘라마(LLaMa)’가 그런 가능성을 보여 준 것으로 평가됩니다. 메타는 2023년 2월 24일 상대적으로 크기가 작은 이 모델의 가중치를 제외한 소스코드를 공개했는데, 3월 3일 가중치를 포함해 실용성을 검증할 수 있는 모델이 인터넷에 유출됐습니다. 서나우는 이 모델이 유출된지 불과 한 달이 지났는데 명령 튜닝, 양자화, 품질 개선, 인간 평가, 멀티모달, 인간 피드백 기반 강화학습(RLHF) 등을 적용한 여러 변종이 제작됐고 이들은 서로의 개선점을 참조해 발전했다고 지적합니다. 그리고 이게 전형적인 오픈소스 커뮤니티의 혁신 방식이죠.
서나우는 다음과 같이 메타의 라마를 유력한 경쟁자로 바라봤습니다. “이미지 생성의 르네상스에 이어 오픈소스 초거대 언어 모델(LLM) 르네상스가 도래했다. 많은 사람들이 이것을 LLM계의 ‘스테이블 디퓨전 모먼트’라고 부를 만큼 두 커뮤니티 간 유사성이 많다. 두 사례 모두 모델을 미세 조정하기에 저렴한 방법과 상당한 규모의 혁신으로 실현됐다. 충분한 고품질 모델에 접근하는 것이 전 세계 개인과 조직의 아이디어 실험과 반복을 촉발했다. 이것이 대형 플레이어를 빠르게 앞질렀다. 이러한 기여가 스테이블 디퓨전을 ‘달리(Dall-E)’와 다른 방식으로 이미지 생성 분야에 중추 역할을 하게 했다. 개방형 모델을 구축해 달리로 불가능한 제품 통합, 시장, 사용자 인터페이스 및 혁신이 구현됐다. 그 효과는 명백했다. (오픈소스 커뮤니티 혁신으로) 문화적 영향력을 통해 급속하게 지배하는 것에 비해 오픈AI의 방식은 점점 무의미해졌다. LLM 영역에 같은 일이 벌어질지는 두고 봐야겠지만, 광범위한 구조적 요소는 동일하다.”
—
솔트룩스 네이버블로그 ‘인공지능 인사이트’ 필진으로서 작성한 열다섯 번째 정기 원고. 230614 솔트룩스 네이버블로그 포스팅으로 게재됨. 240114 개인 블로그에 원문 비공개로 올림. 240519 공개로 전환.