버추얼 프로덕션, 녹색 천 배경 앞에서 찍고 나중에 합성하는 ‘크로마키’와 달라요
일단 VP를 아주 단순하게 말하자면, 방송사에서 날씨 예보나 선거 방송에 쓰던 ‘크로마키(Chroma Key)’ 촬영 기법을 고도화한 것입니다. 크로마키 기법은 배경을 녹색 등 단색으로 채운 빈 공간에 사람이 들어가 필요한 움직임을 촬영하면서, 이 영상에서 녹색 부분을 제거하고 인물이 담긴 ‘전경’ 영상과 현장에 없는 ‘배경’ 영상이나 그래픽을 합성해 원래 의도한 연출을 표현합니다. 하지만 이 방식은 조명과 이미지를 자유롭게 조정하기 어렵습니다. 촬영해서 제거할 수 있는 색상 범위가 제한돼 범용성도 떨어지고요. 요컨대 실감나는 표현이 필요한 영상에 쓰기는 어려운 방법입니다.
현대적인 의미의 VP는 크로마키와 상당히 다른데요. 물리적으로 만들어지지 않은 공간에 인물을 투입한다는 점은 같지만, 실사와 맞먹는 표현이 가능한 고해상도 LED 스크린(LED 월)을 배경으로 쓴다는 점이 근본적으로 다르죠. 이 LED 월은 인물이 들어가야 하는 물리적인 세트나 배경을 대신합니다. 실제 촬영 단계에 디지털 3D 이미지를 실시간으로 표현합니다. 제한적인 촬영 장소에서 실시간으로 배경 공간을 바꿔 가면서 영상을 제작할 수 있고, 화려한 시각 효과를 즉각적으로 표현할 수 있죠. 이는 특수한 표현과 효과를 다루는 콘텐츠를 만들 때에도 현장에서 배우나 등장인물이 제 역할에 몰입하고 자연스럽게 연기하는 데에도 유리합니다. 영상 촬영 후 시각 특수효과(VFX)를 더하기 위해 이용했던 컴퓨터 그래픽 편집 기술이나 이를 구현하기 위한 3D 그래픽 엔진의 신기술을 실시간으로 활용할 수 있어요. 예를 들어 미국 게임사 에픽게임즈가 온라인 게임 속 인물, 사물, 공간, 세계를 표현하는 노하우를 축적해 개발한 ‘언리얼 엔진’이 라이브 액션 영화 제작 과정에도 널리 활용되고 있다고 합니다.
기존 방송과 영화 제작 과정 중 실사 촬영 분량을 편집하는 후반 작업에 VFX를 적용하기 위해 첨단 컴퓨터 그래픽의 도움을 받던 양상이 바뀐 것인데요. 컴퓨터 그래픽을 일상적인 배경이나 상황에 완전히 어우러지게 만들기 어려웠던 과거에는 과학창작(SF)물이나 미래 시대 등 비일상적인 시공간을 다루는 콘텐츠 위주로 VFX가 쓰였습니다. 그런데 VP는 특수한 콘텐츠 내용을 표현하는 수단이 아니라, 일상 배경이나 소재를 다루는 영상을 촬영할 수 있는 수단으로 인식됩니다. 오로지 촬영을 위해 한정적인 용도로 쓸 실물 세트를 매번 만들고 철거할 필요가 없어지니까요. 또 해외나 국내 교통이 불편한 지역을 무대로 하는 촬영에서 직접 제작진과 출연자를 보내지 않아도 되겠죠. 제작자가 원하는 표현이 디지털로 충분히 가능하다면 상당한 제작비와 제작기간 절감 효과를 거둘 수 있다는 뜻입니다. 이러한 VP를 수행할 수 있는 전문 촬영 기기와 설비를 갖춘 곳을 ‘버추얼 스튜디오’ 또는 ‘버추얼 프로덕션 스튜디오’라고 부릅니다.
디지털 기술 발전에 영상 업계 버추얼 프로덕션과 스튜디오 의미 더욱 커졌죠
논문 작성자는 “하지만 현재 기술 수준은 매우 초보적인 수준으로 단순한 배경 처리 정도에 그치고 있다”고 지적하면서, 수준 높은 실시간 그래픽 생성과 합성을 구현하는 시스템을 구성하고 이를 효과적으로 이용하는 카메라와 스튜디오 장비 운용, 구축 방법도 제안했습니다. 또 맺는말에 “컴퓨터에서 디자인하고 컴퓨터가 창출한 가상 세트에서 연기자나 사회자를 촬영하는 가상 스튜디오는 공간에 큰 제약을 안 받아도 된다”면서 “앞으로 컴퓨터 그래픽 성능은 계속 향상할 것이고 따라서 가상 현실 기술의 발전도 가속화할 것으로 예상하며 가상 스튜디오 기술이 원숙한 형태로 보편화 될 날도 그리 멀지않을 것”이라고 내다 봤습니다.
변화가 빠른 디지털 기술 분야에서 20년도 더 이전에 제안된 ‘첨단 기법’이 지금도 유용하다고 보긴 어렵겠죠. 하지만 앞서 VP와 버추얼 스튜디오라는 기술적 아이디어가 제안되고 산업계에서 이에 주목하는 상황은 지금도 마찬가지입니다. 어쩌면 오히려 더욱 심도 깊이 주시하고 있다고 봐도 과언이 아닐 것입니다.
2022년 부산국제영화제(BIFF) 개최 기간에 부대 행사로 열린 ‘포럼 비프(Forum BIFF)’가 좋은 예인데요. 산업 현안을 주제로 영화인들이 참여하는 연례 토론회입니다. 제작, 배급, 상영의 모든 영역에서 영화 산업 변화의 큰 요인이 된 VFX 등 디지털 기술 혁신의 양상과 잠재력에 대해 논의하는 것이 이번 토론회의 큰 화두 중 하나였습니다. 특히 토론회에서 ‘가상의 제국, 영화가 되다’라는 주제로 진행된 섹션A 소개문에 이러한 영화 업계의 시각이 잘 나타납니다. 소개문 일부를 아래에 인용했습니다.
“… 현재 촬영 스튜디오의 한 부분은 버추얼 프로덕션(Virtual Production) 시스템으로 전환 중에 있으며, 이는 영화 제작 시스템의 완전한 디지털화와 가상화를 의미한다. 이제 영화는 가상의 제국을 완성하기까지 얼마 남지 않았다. (줄바꿈) 이뿐만 아니라 대형스크린, 와이드 스크린처럼 영화의 탄생 이후 꾸준히 시도해 왔던 시각의 확장에 대한 도전은 디지털 시대에 들어서면서 VR(가상현실), XR(확장현실), AR(증강현실) 등의 혼합현실(MR) 기술과 만나며 새로운 영화적 체험을 선사하고 있다. (중략) VFX는 프로덕션 과정의 직접적인 작업인 촬영, 조명 등과 함께 필수불가결한 요소로 자리잡았다. 또한 VFX 제작회사, 데이터 보존 및 전송 업체 등이 영화 제작에 있어 중요한 구성원으로 부상하는 등 영화 현장이 빠르게 변화하고 있다. …”
대기업의 버추얼 스튜디오 분야 투자로 영상 산업 디지털 전환 움직임이 활발해지고 있어요
국내 영상 촬영, 콘텐츠 제작 업계에서 최근 VP와 버추얼 스튜디오 인프라 구축에 많은 투자가 이뤄지는 추세입니다. 그리고 이 VP를 활용하는 범주는 방송과 영화를 넘어 온라인 미디어와 3D 게임 등 콘텐츠 산업 전반으로 확대되고 있죠. 표현력 높은 VP 기술, 전문가, 스튜디오 인프라를 원하는 시장이 활짝 열렸습니다. 영상 VFX 기술 기업인 VA코퍼레이션, 통신사인 SKT, 콘텐츠 사업자인 CJ ENM 등이 VP를 위한 스튜디오를 직접 구축하거나, 관련 인프라를 보유한 기업과 협력한 대표 사례예요.
CJ ENM은 삼성전자와 함께 VP와 버추얼 스튜디오를 포함한 첨단 콘텐츠 제작 인프라에 투자하고 있습니다. 2021년 ‘버추얼 프로덕션 스테이지’라는 이름의 대규모 스튜디오를 지었죠. 이 스튜디오는 경기도 파주시 21만㎡ 규모 복합 스튜디오 단지인 ‘CJ ENM 스튜디오 센터’에 세워진 13개 동 가운데 하납니다. 여기에 삼성전자의 기술로 개발된 LED 월을 설치했습니다. 벽면 360도 방향과 천장까지 모두 대형 LED 월로 둘러싸인 공간을 만들었죠. LED 월 디스플레이 표현에 피사체와 카메라 사이 원근감을 계산해 실시간 반영하는 기법으로 실감도를 높이고, 다양한 시나리오와 콘텐츠 장르에 맞게 디지털 기술 융합 영상 제작을 할 수 있다고 합니다.
SKT는 2022년 경기 판교에 VFX 기반 미디어 콘텐츠 제작 공간 ‘팀 스튜디오’를 마련했는데 여기에도 다양한 특성과 규모의 콘텐츠를 제작할 수 있는 LED 월 등을 갖춘 VP 제작용 스테이지가 구축됐습니다. SKT는 팀 스튜디오 LED 월 스테이지 구축을 위해 LED 스크린 기술 기업 ‘아우토’와 이미지 프로세서 기술 기업 ‘브롬튼’의 기술을 이용했다고 밝혔습니다. 드라마, 광고, 뮤직비디오 등 엔터테인먼트 콘텐츠와 라이브커머스, 웹세미나, 콘퍼런스 등 실내 중심 실시간 송출 콘텐츠 제작에 다양한 규모의 스테이지를 활용할 수 있다고 강조했고요.
AI 기술로 쏟아지는 버추얼 휴먼이 버추얼 프로덕션 세계와 점점 더 가까워지고 있어요
아직 뚜렷한 흐름은 나타나지 않았지만, VP 분야에 AI 기술이 접목할 여지가 커지고 있어요. SKT가 팀 스튜디오 공식 출범에 앞서 보였던 움직임이 이를 짐작케 합니다. SKT는 2021년 ‘비브스튜디오스’라는 VFX 기술 기업과 사업 협력, 지분 투자 계약을 맺었습니다. 비브스튜디오스는 VP 운영 전문 솔루션 ‘VIT’를 개발하는 회사로 이 분야 전문성을 인정받아 2023년 6월 중소벤처기업부 ‘예비유니콘 특별 보증 지원’ 대상 기업에 선정됐습니다. VIT는 AR, VR, XR 등 디지털 콘텐츠 제작을 최적화하고 VP 현장을 효율적으로 운영하는 기능을 갖춘 솔루션으로 알려졌어요.
그런데 비브스튜디오스는 2021년 ‘비브랩’이라는 AI 연구소를 설립하고 생성 AI 기술을 이용하는 ‘버추얼 휴먼’ 제작 기술도 연구해 왔다고 합니다. VP 분야에서 실사 인물과 디지털 가상 공간 배경을 합성하는 것을 넘어, 버추얼 휴먼이 등장하는 연출과 영상 제작도 앞으로 대중화할 수 있다고 봤기 때문이죠. 앞으로 버추얼 스튜디오 인프라에 AI 기술로 구현된 버추얼 휴먼이 투입되고 더 다양한 VP 시나리오를 실현하지 않을까 예상합니다.
정부도 이런 가능성을 염두에 두고 VP 산업 활성화에 관심을 쏟고 있는데요. 이종호 과학기술정보통신부 장관이 2023년 6월 초 파주 CJ ENM 스튜디오 센터에서 VP 활용 확대 방안을 논의하는 현장 간담회에 참석해 남긴 발언을 소개해 드립니다. “버추얼 프로덕션이 제작비를 절감하고 제작 환경을 자동화하는 데 큰 역할을 할 수 있다는 점을 인식하고 있다. AI·데이터 접목, 버추얼 프로덕션 등 디지털 전환은 중요한 경쟁 원천이다.” 이 장관의 발언대로 정부가 VP 산업을 정책적으로 활성화하기 위해 나선다면 국내 VP 분야 기술 역량을 높이고 산업 인재를 육성하기 위한 지원이 추진될 것으로 보입니다.
현재 버추얼 휴먼은 3D 캐릭터(아바타)를 생성하거나, XR 기반 메타버스 공간에 참여하는 사용자의 아바타를 생성해 사용자가 디지털 환경과 상호작용하게 하는 역할을 하고 있는데요. AI 기술로 더 실감나는 시청각적 표현이 가능해지고 있죠. 몇 년 사이에 AI 기술과 최신 컴퓨터 그래픽을 활용하는 버추얼 휴먼이 실제 연예인이나 인플루언서를 대신해 광고나 엔터테인먼트 분야 모델로 활용하는 사례가 나오고 있습니다.
2020년 싸이더스 스튜디오엑스가 개발한 ‘로지’는 광고 모델, 드라마 출연, 음원 발매 등으로 활동 영역을 넓히고 있죠. 스마일게이트는 2018년 게임 홍보를 위해 제작한 ‘세아’를 유튜브와 트위치 등의 크리에이터로 등장시켰고, 버추얼 휴먼 기술 기업인 자이언트스텝과 함께 제작한 ‘한유아’를 통해 음원 발표, 광고 모델, 뮤직비디오 제작 등에 활용하고 있습니다. 카카오게임즈 계열 버추얼 휴먼 기술 기업인 온마인드는 2021년 ‘수아’를 공개했는데요. 온마인드가 SKT에서 분할한 투자전문회사 SK스퀘어의 투자를 받은 뒤 수아는 SKT의 AI 음성합성기술로 목소리를 얻고 2022년 SKT의 통신사 최초 버추얼 휴먼 광고 모델로 기용됐죠. 2022년 넷마블은 손자기업 메타버스엔터테인먼트에서 개발한 디지털 휴먼 ‘리나’를 공개했는데, 이후 리나는 연예기획사 전속 계약, 패션지 디지털 화보 모델 활동, 넷마블 계열사가 후원하는 블록체인 관련 행사의 버추얼 JD 활동 등 행보를 보였습니다.
소프트웨어 기업 솔트룩스는 2022년 AI 강사, 고객응대 직원 업무를 수행할 수 있는 버추얼 휴먼 ‘한지아’를 공개했고, 솔트룩스 자회사 플루닛은 자사 AI 영상 생성 플랫폼인 ‘플루닛 스튜디오’로 버추얼 휴먼이 등장해 일자리, 일일 운세와 날씨, 시사교양 정보를 제공하는 주문형 콘텐츠 제작 서비스 사업을 SK브로드밴드와 공동 추진하는 업무협약을 최근 체결했죠. 이스트소프트는 2023년 5월 AI 홈트레이닝 앱 ‘하우핏’에 필라테스 강사 버추얼 휴먼 ‘김이소’를 데뷔시킨 데 이어 6월 두 번째 버추얼 휴먼 ‘이규리’가 경제 유튜브 채널 진행자로 데뷔시켰어요. 딥브레인AI는 앞서 정치인, 방송인, 운동선수 등 유명인 닮은꼴 버추얼 휴먼을 제작했고 올해 들어 소매·숙박 등 업종별 고객응대 서비스용 AI 상용화 사업에도 나섰습니다.
광고, 엔터테인먼트뿐 아니라 각종 버티컬 산업 수요에 대응하는 버추얼 휴먼이 많아지면 그만큼 다양한 분야에서 상업성을 인정받을 수 있겠죠. AI 기술로 더 효율적이면서 자연스러운 표현이 가능한 버추얼 휴먼 제작 기술과 플랫폼을 보유한 기업들의 사업 기회는 더 커질 거예요.
—
솔트룩스 네이버블로그 ‘인공지능 인사이트’ 필진으로서 작성한 열여섯 번째 정기 원고. 230706 솔트룩스 네이버블로그 포스팅으로 게재됨. 24xxxx 개인 블로그에 원문 비공개로 올림. 24xxxx 공개로 전환.