[기고] ’거대 AI 실험을 일시 중지하라’는 제안에 불붙은 찬반 논쟁

최종 수정 일시 2024-04-22, 오후 9:07

첨단 인공지능(AI) 기술이 무분별하게 개발돼 인류가 그 부작용을 감당하기 어려워질 것이라는 우려가 있습니다. 익숙하게 들리시겠지만 SF 소설이나 영화 속 얘기는 아니고요, 미국 민간 연구소 ‘오픈AI’가 사람처럼 글 쓰는 GPT-3에 이어 미국 대입자격시험(SAT)부터 변호사시험까지 상위권을 차지하는 성능을 보여 주는 GPT-4를 개발하고 이것을 기반으로 AI 챗봇 ‘챗GPT(ChatGPT) 플러스’를 출시한 뒤 다양한 학계와 산업계에서 나온 반응 중 하나입니다. 미국 비영리 단체인 ‘생명의 미래 연구소(FLI·Future of Life Institute)’ 이름으로 2023년 3월 22일 발표된 공개 서한은 그 중에서도 독특하고 대표적인 사례인데요. FLI는 인류가 직면한 위험을 줄이기 위한 연구를 수행할 목적으로 2014년 미국 보스턴에 설립됐고 ‘범용 인공지능(AGI)’을 비롯한 첨단 AI의 위협에 초점을 맞춰 연구를 수행하고 있는 곳입니다. FLI 설립에 2003년 이베이에 인수된 인터넷전화(VoIP) 서비스 기업 ‘스카이프’의 얀 탈린(Jaan Tallinn) 공동창업자, 미국 매사추세츠공과대학교(MIT)의 맥스 테그마크 물리학과 교수, 미국 캘리포니아대학교 산타크루즈(UCSC)의 앤서니 아기레(Anthony Aguirre) 물리학과 교수 등이 참여했어요. 테슬라 최고경영자인 일론 머스크가 2015년 FLI에 1000만 달러를 기부했는데요. 일반적인 AI 연구가 아니라 AI를 더 사회에 유익하고 인류에게 안전하게 만드는 방법을 연구해 왔다고 해요.

FLI, 아실로마 AI 원칙에 이어 거대 AI 연구 일시 중단을 제안하다

FLI는 그 연장선에서 이번 ‘거대 AI 실험을 일시 중지하라(Pause Giant AI Experiments: An Open Letter)’는 공개 서한을 통해 모든 AI 연구소(lab)에 최소 6개월동안 GPT-4보다 더 강력한 AI 시스템 훈련을 즉각적으로 멈춰 달라고 요구했어요. FLI의 공개 서한은 이렇게 시작해요. “광범위한 연구와 최고의 AI 연구소에서 인정하는 바와 같이 인간에 견줄 만한 지능을 갖춘 AI 시스템은 사회와 인류에 심각한 위험을 초래할 수 있다. 널리 지지되는 아실로마 AI 원칙에 명시됐듯이 고급(advancded) AI는 지구 생명체의 역사에 중대한 변화를 나타낼 수 있으며, 적절한 관리와 자원으로 계획되고 관리돼야 한다. 불행하게도 최근 몇 달 동안 AI 연구소는 심지어 그들의 창조자조차 이해하거나 예측하거나 안정적으로 통제할 수 없는 훨씬 더 강력한 디지털 정신(digital minds)을 개발하고 배포하기 위한 통제 불능의 경쟁에 사로잡혀 있으면서도 그러한 수준의 계획과 관리가 이뤄지지 않고 있다.”

우선 여기서 FLI가 인용하는 ‘아실로마 AI 원칙(Asilomar AI Principles)’은 세계적으로 명망 있는 AI 연구자와 컴퓨터 과학자들이 뛰어난 AI 기술이 등장해 현대 사회와 인류에게 초래할 부작용이나 위험성을 예견하고 AI 연구 개발 단계에서 이에 대비할 방안을 마련해야 한다는 취지로 제정한 ‘윤리적인 AI’ 연구 원칙이에요. 2017년 1월 미국 캘리포니아 아실로마 지역에서 개최된 ‘이로운 AI 콘퍼런스(Beneficial AI conference)’에 모인 사람들이 AI의 가능성과 위협을 예측하고 이 기술이 인류에 이익이 되게 만드는 방안을 토론한 결과를 23가지 원칙으로 정리해 발표해서 아실로마 AI 원칙이라는 이름이 붙었어요. 오늘날 각국 정부와 기업이 빈번하게 논의하는 AI 윤리 문제를 다룰 때 인용되고 있어요. 아실로마 AI 원칙에 2045년 인간보다 뛰어난 AI가 출현한다고 예측한 미래학자 레이 커즈와일, 2016년 이세돌 9단을 꺾은 알파고를 개발한 딥마인드의 데미스 하사비스 최고경영자, 세계적인 물리학자 스티븐 호킹 같은 저명인사를 비롯해 2300명가량이 이 원칙에 지지 서명을 남겼어요. 당시 이 이로운 AI 콘퍼런스를 주최한 곳이 바로 FLI예요. FLI에 기부금을 냈던 일론 머스크도 아실로마 AI 원칙에 서명했죠. 이 원칙은 오늘날 많은 AI 윤리 문제에 보편적인 논점을 제공하고 각국 연구자들 사이에서 존중되고 있는데요. 어째서인지 1개월 전 거대 AI 연구 중단을 호소한 공개 서한은 발표 직후부터 많은 비판에 휩싸이고 말았어요. 그 중 한 가지 비판은 일론 머스크가 이 서한에 지지한 진영의 대표 주자인데, 그의 의도가 불순하기 때문에 FLI의 서한 자체를 신뢰할 수 없다는 것이었죠.

실제로 머스크는 2023년 4월 17일 미국 폭스 뉴스와 인터뷰를 통해 “AI는 잘못 관리된 항공기 설계나 자동차 생산보다 더 위험하다”면서 자신은 “우주의 본질을 이해하려고 노력하는 ‘트루스GPT(TruthGPT)’라는 AI 개발을 시작하겠다”고 말했어요. 인터뷰에서 머스크는 우주의 본질에 관심을 갖고 ‘진실(truth)’을 추구하는 AI라면 인간을 해치거나 문명을 파괴하거나 인류를 멸종시킬 가능성이 없어 안전할 것이라고 주장했어요. 머스크는 이어 2023년 4월 19일 테슬라 주주를 대상으로 진행한 실적 발표 콘퍼런스콜에서 2023년 안에 ‘완전 자율주행’ 기술을 출시할 가능성이 있다고 언급해 자율주행 AI 기술 발전에 기대감을 불러일으켰어요. 정작 테슬라는 공식적으로 ‘오토파일럿’이라는 차량 주행 보조 기능에 대해 아직 자동차를 자율 주행하는 것이 아니라 운전자 감독이 필요한 기술이라고 설명해 왔어요. 테슬라는 운전자가 오토파일럿 기능을 사용하는 과정에 발생한 사고로 미국 교통부 산하 주행 안전 기술 감독기관인 ‘도로교통안전국(NHTSA)’의 조사도 받아왔죠.

요컨대 자신은 불완전한 AI를 탑재한 자동차를 팔지만 조만간 완전 자율주행 기술 상용화가 가능하고, 인류에게 해롭지 않은 언어 생성 AI를 개발해 진실을 추구할 것이라고 말하면서 다른 AI 연구는 위험할 수 있으니까 당장 멈춰야 한다고 말하는 사람은 아무래도 설득력이 없어 보이긴 하네요. 그래서 사람들은 머스크가 GPT-4를 개발한 오픈AI의 독주를 견제하면서 자신이 투자하는 AI 기술 연구를 진전시킬 시간을 벌려고 FLI의 이름과 공개 서한이라는 형식을 이용한 것 아니냐는 의문을 품게 됐죠.

하지만 FLI는 공식 웹사이트를 통해 스스로 “강력한 기술로 인한 전 세계 재앙적, 실존적 위험을 줄이려는 우리의 열망을 공유하는 다양한 개인과 조직의 자금을 지원받는 독립적인 비영리 단체”를 표방하고 있어요. 공식적으로 “창립 이래 FLI의 이사회에 근무해 온 얀 탈린을 제외하고 이 기부자들은 FLI의 입장에 영향을 미치지 않는다”면서 “FLI의 입장은 5명으로 구성된 이사회와 내부 FLI 팀이 최신 학술 연구와 콘퍼런스, 자문(consultation)으로 도출한 자료를 바탕으로 결정한다”고 설명하죠. 설립 이래 기부를 1500여 차례나 받았다고 하는데, 그 중에 일론 머스크 같은 튀는 사람이 포함돼 있다는 이유만으로 FLI가 내놓은 메시지의 진정성이나 합리성을 폄훼할 필요는 없지 않을까 싶기도 합니다. 이쯤에서 FLI의 공개 서한에 담긴 문구와 이에 동의했다는 사람들의 면면을 더 살펴볼 여지가 있죠.

FLI는 공개 서한에서 “현대 AI 시스템은 이제 일반적인 작업에서 인간과 경쟁할 만한 수준으로 발전하고 있다”면서 “우리는 스스로에게 물어야 한다”고 지적합니다. 그 물음은 ‘기계가 우리 정보 채널에 선동(propaganda)과 거짓(untruth)이 넘치도록 내버려둬야 하는가’, ‘우리가 만족스러운 직업을 비롯해 모든 일자리를 자동화해 버려야 하는가’, ‘결국 우리보다 수적으로 많고 더 똑똑하고 우리를 쓸모 없게 만들고 대체해버릴 비인간적인(nonhuman) 정신을 개발해야 하는가’, ‘우리 문명에 대한 통제력을 상실할 위험을 감수해야 하는가’ 등 네 가지인데요.

FLI는 “이러한 결정을 선출되지 않은 기술 리더에게 위임해서는 안 된다”면서 “강력한 AI 시스템은 그 효과가 긍정적이고 위험을 관리할 수 있다는 확신이 있을 때에만 개발돼야 한다”고 주장합니다. 그러면서 GPT-4를 개발한 오픈AI가 미래에는 AI 시스템 개발에 사회적 필요할 수 있다고 지적한 시점이 바로 지금이라고 강조합니다. 이렇게요. “오픈AI는 최근 범용 인공지능에 대한 성명을 통해 말하길 ‘어느 시점에는 미래 시스템을 훈련하기 전에 (외부 조직에) 독립적인 검토를 받고 가장 진전된 노력이 새로운 모델을 개발하는 데 사용되는 컴퓨팅의 성장 수준을 제한하도록 합의하는 데 필요할 수 있다’고 했다. 우리는 동의한다. 그 시점은 바로 지금이다. 따라서 우리는 모든 AI 연구소가 GPT-4보다 더 강력한 AI 시스템을 훈련하는 일을 당장 최소 6개월 동안 일시 중단할 것을 촉구한다. 이 일시 중지는 공개적이고 검증 가능해야 하며 모든 핵심 행위자를 포함해야 한다. 만일 이러한 일시 중단 조치가 신속하게 시행될 수 없다면 정부가 개입해 유예(moratorium, 원래 국가채무에 대한 대외 지급 유예를 의미하지만, 여기선 문맥상 국가 차원의 AI 개발 활동을 미루는 행위) 조치를 취해야 한다. AI 연구소와 독립 전문가들은 이 일시 중지를 계기 삼아 독립적인 외부 전문가가 엄격하게 감사하고 감독하는 고급 AI 설계 및 개발용 공용 안전 규약을 함께 개발하고 구현해야 한다. 이러한 규약을 준수하는 시스템은 합리적 의심의 여지가 없을 정도로 안전해야 한다. 이는 일반적인 AI 개발을 중단하라는 것이 아니라 예기치 못한 능력을 지닌 더 거대한 예측불가 블랙박스 모델을 향한 위험한 경쟁에서 한 발 뒤로 물러나자는 것일 뿐이다.”

FLI의 메시지로 연상되는 폴 버그의 공개 서한과 ‘아실로마 콘퍼런스’

FLI의 공개 서한은 1980년 노벨생리의학상을 수상하고 2023년 2월 15일 별세한 폴 버그의 ‘버그 레터(Berg Letter)’를 염두에 두고 작성된 것 같아요. 폴 버그는 스탠퍼드대 생화학자였던 1972년 10월 당시 미국 국립과학원 회보에 게재된 논문 ‘원숭이바이러스40(SV40) DNA에 새로운 유전정보를 삽입하는 생화학적 방법’의 저자였는데, 서로 다른 유기체의 유전자를 인위적으로 재조합한 ‘recombinant DNA(rDNA)’를 처음으로 만들어냈다는 내용을 담았어요. 이는 생명체 유전 정보를 공학적으로 편집해 선천적 유전질환과 유전자 변이에 의한 후천적 질환 치료제 개발 가능성을 크게 열었다는 점에서 획기적이었는데요. 그의 생애를 다룬 한국일보 보도에 따르면, 버그는 논문 발표 후 rDNA를 포유동물에 이식하려던 후속 실험을 스스로 중단하고 동료 과학자와 함께 1974년 rDNA 실험의 잠재적 위험을 방지할 지침이 마련되기 전까지 실험을 미루자고 제안한 공개 서한을 ‘네이처’와 ‘사이언스’에 게재했고 이것이 버그 레터로 불린다고 해요.

버그 레터에는 과학자들에게 rDNA 연구에 대한 자발적 일시 중단(Moratorium)을 받아들이고, 다른 실험에 대한 계획도 주의 깊게 평가하고, 미국 국립보건원에 위험 평가와 가이드라인 마련을 위한 전문가 위원회를 구성하고, 과학 발전을 검토하고 위험 평가를 담당할 국제 과학자 회의를 조직하는 등 네 가지 권고안이 담겼어요. 그 중 자발적 연구 일시 중단은 과학자들에게 실제로 받아들여졌고, 이후 국립보건원에선 가이드라인을 마련했고, 국제 과학자 회의는 1975년 2월 이 분야를 연구하는 과학자들이 미국 캘리포니아 아실로마 센터에 모여 개최한 ‘아실로마 콘퍼런스’로 발전했어요. 이 아실로마 콘퍼런스에서는 rDNA 실험이 ‘만에 하나라도 잘못될 가능성’을 염두에 두고 그 잠재적 위험을 예방하기 위해 과학자들이 여러 안전장치를 두고 실험하는 방안을 합의했어요. 이로써 과학자들이 스스로 위험성을 공론화하며 시작한 rDNA 실험의 자발적 일시 중단을 해제한 셈이 됐고, 후학 연구 활동에 큰 도움을 준 것으로 평가받고 있어요.

FLI는 아실로마 AI 원칙을 발표한 주체로서 설립 이래 꾸준히 AI의 부작용과 위험성을 지적하는 목소리를 내왔다고 할 수 있는데요. 이 점을 염두에 둔다면 최근의 공개 서한은 폴 버그의 버그 레터를 모델 삼아 거대 GPT-4를 뛰어 넘을 AI 연구와 실험 경쟁을 벌이고 있는 학계에 자발적인 일시 중단을 제안하고, 낮은 가능성일지라도 일이 잘못될 가능성에 대책을 세운 뒤 움직이자고 이야기하는 것으로 해석할 수 있겠죠. 이스라엘 역사학자인 유발 하라리 히브리대 교수, 애플 공동 창업자인 스티브 워즈니악, 캘리포니아대학교 버클리(UC Berkeley)의 스튜어트 러셀 컴퓨터과학 교수 겸 인간호환AI센터(CHAI) 설립자, 딥러닝과 AI 분야 권위자인 요슈아 벤지오 캐나다 몬트리올대 컴퓨터과학 교수, 이미지 생성 AI 개발사인 스태빌리티AI의 에마드 모스타크 최고경영자, 디지털 기기 사용자에게 중독을 유발하는 ‘무한 스크롤’을 처음으로 고안하고 이를 반성한 인터페이스 디자이너이자 세계경제포럼 글로벌 AI 위원회 위원으로 활동 중인 에이자 래스킨 등이 FLI의 서한을 지지하는 학계와 산업계 인사로 이름을 올린 것은 나름대로 고민한 결과 내린 결정이라고 봐야 하지 않을까 싶어요. 일론 머스크가 당최 무슨 생각을 하고 있는지 종잡을 수 없는 인물처럼 보인다고 해서 나머지 인사들의 지지 표명까지 무의미한 것으로 치부하기는 어렵다고 봅니다.

유력 인사 가운데 FLI의 공개 서한을 비판하는 사례도 물론 있어요. 빌 게이츠 마이크로소프트 공동 창업자가 대표적인데요. 그는 2023년 4월 3일 로이터통신과 인터뷰에서 AI 개발 일시 중단이 문제를 해결하지 못할 것이라는 점, 개발 중단을 실행하기는 현실적으로 쉽지 않다는 점 등을 지적했어요. 그리고 FLI의 서한 발송 전부터 의료, 기후 문제, 교육 분야에서 세계적 불평등을 줄이는 방안으로 AI 기술을 적극적으로 활용해야 한다는 견해를 보여 왔고요. 물론 그가 설립한 마이크로소프트는 GPT-4를 만든 오픈AI의 최대 기술 개발 후원자이자 비즈니스 파트너이기 때문에 그 활동에 배치되는 방향을 얘기하는 것은 오히려 이상하죠.

과거 구글의 ‘윤리적 AI’ 연구 부서를 이끌던 마거릿 미첼 허깅페이스 수석윤리과학자, 팀닛 게브루 균등 AI 연구소(DAIR) 설립자는 FLI가 자신들이 거대 AI 모델의 위험성을 경고한 논문 ‘확률적 앵무새의 위험성에 대하여’를 인용한 방식에 문제를 제기했어요. 미첼은 FLI의 서한에 대해 후원자에게 이익이 되는 방식으로 AI 관련 논의를 이끌었을 뿐이고 GPT-4보다 더 강력한 기술이 무엇인지도 명확하지 않다고 비판했어요. 게브루는 FLI의 메시지가 공포를 조장하고 종말론적인 시나리오를 담고 있다고 했고요. 에릭 슈미트 전 구글 최고경영자도 반대의 뜻을 나타냈어요. 2023년 4월 7일 호주 언론과 인터뷰에서 거대 AI 모델의 잠재적 위험성에 대해 우려할 수 있다는 점은 인정하면서도, 공개 서한의 요구대로 기술 연구를 일시 중지하는 것은 미국과 대립하고 있는 중국에만 이익이 될 것이라 찬성할 수 없다고 언급했어요. 중국에 맞서 미국의 가치를 반영할 수 있는 AI를 만드는 것이 중요하다고 인식한 거죠. 서한과 함께 서명자 명단이 공개된 초기에는 아예 허위 서명 문제가 도마 위에 올랐어요. 얀 르쿤 메타 수석AI과학자가 서명자로 포함됐는데, 트위터를 통해 자신은 서명한 적이 없다고 말한 거예요.

FLI는 이런 문제점과 비판을 의식해서 서명 참여자 목록에 허위 서명으로 꼽힌 사례들을 삭제했어요. 공개 서한을 발송하고 3주 뒤인 2023년 4월 12일에 “일시 중단 기간에 정책 마련하기(Policymaking in the Pause)”라는 정책 제안서를 추가로 발표하고 19일에 한 차례 개정했어요. FLI의 제안 정책은 ‘제3자 감사와 인증 의무화’, ‘컴퓨팅 파워에 대한 접근 규제’, ‘국가 차원의 유력 AI 기관 창설’, ‘AI가 야기하는 유해성 배상책임(liability) 확립’, AI 모델 유출 방지 및 추적 수단 도입’, ‘AI 안전 기술 연구 자금 지원 확대’, ‘AI 생성 콘텐츠 식별 및 관리 표준을 개발해 권고’ 등 7가지로 구성돼 있어요. AI 연구 일시 중단이라는 선언으로 우선 세간의 이목을 끌고 이처럼 강력한 정부와 국제 사회 차원의 통제 장치를 도입하자는 논의를 유도하려고 한 것은 아닐까 싶기도 하네요.

—

솔트룩스 네이버블로그 ‘인공지능 인사이트’ 필진으로서 작성한 열두 번째 정기 원고. 230502 솔트룩스 네이버블로그 포스팅으로 게재됨. 240114 개인 블로그에 원문 비공개로 올림. 240418 공개로 전환.