페이스북을 운영하는 메타플랫폼스(Meta Platforms, 전 ‘페이스북’)는 수년 전 시민 사회와 시장의 신뢰를 회복하기 위한 핵심적인 수단으로 인공지능(AI) 기술을 쥐어 들었다. 페이스북은 수년 전부터 수십억 명에 달하는 이용자들이 시시각각 쏟아내고 열람하는 수많은 게시물 속에서 가짜뉴스와 혐오발언, 폭력적이거나 성적인 표현 등 문제 소지가 있거나 유해한 콘텐츠를 미리 찾아 조치하는 데 AI 기술을 활용해 왔고, 그 비중을 점점 더 늘리고 있는 것으로 파악된다.
4년 전 시작된 페이스북 커뮤니티 규정 기반 콘텐츠 관리
메타플랫폼스는 정기적으로 커뮤니티 규정 집행 보고서(Community Standards Enforcement Report)를 발간한다. 이 보고서는 그 이름 그대로 페이스북을 비롯한 메타플랫폼스 서비스의 콘텐츠에 적용되는 ‘커뮤니티 규정’이 실제로 어떤 콘텐츠를 얼마나 걸러냈는지에 대한 규모를 수치로 보여 준다. 80억명에 다가가고 있는 세계 인구 중 30억명에 가까운 이용자를 거느린 페이스북에서 어떤 종류의 콘텐츠가 얼마나 삭제됐거나 차단됐는지 제시된다.
지난 2018년 5월 첫 보고서가 발간됐다. 당시 보고서는 이 회사가 2017년 10월부터 2018년 3월까지 6개월 동안 페이스북에 게재된 콘텐츠 또는 활동 중인 계정 가운데 시각적인 폭력물, 성인 나체와 성적인 활동, 테러 선동, 혐오발언, 스팸, 가짜계정 등 여섯 분야 별 커뮤니티 규정 위반 사례로 이용자들에게 신고된 건수, 삭제된 건수, 이용자들에게 신고되기 전에 탐지된 건수를 제시했다. 페이스북에서 2018년 1분기 중 8억3700만건의 스팸이 삭제됐고, 이는 거의 100%가 이용자에 의해 신고되기 전에 발견된 것이었다. 스팸을 퍼뜨리는 주 요인은 가짜 계정인데, 2018년 1분기 가짜 계정 5억8300만개도 등록 후 몇 분 이내에 비활성화됐다. 성인 나체와 성적인 활동 관련 콘텐츠가 2100만건 삭제됐고 그 중 96%가 선제적으로 식별된 사례다. 같은 기간에 시각적인 폭력물 350만건이 삭제되거나 ‘경고’ 표시가 적용됐고 이 가운데 86%가 선제적으로 식별된 사례다. 혐오발언의 경우 250만건이 삭제됐고 그 중 기술적으로 미리 식별된 비중은 38%였다. 사람들의 신고로 접수된 문제 사례와 AI 등 자체 기술로 미리 식별된 유해 콘텐츠 또는 가짜계정이 제거되는 과정에 콘텐츠의 유해성 판단에 인간의 능력은 여전히 중요했다.
가이 로젠 페이스북 제품 총괄 부사장은 이 보고서 내용을 소개하면서 “마크 저커버그가 ‘F8(개발자 콘퍼런스)’에서 말했듯이 우리가 규정 위반을 막기 위해서는 아직 해야 할 일이 많다”면서 “부분적으로는 인공지능과 같은 기술이 유망하지만 이는 여전히 대부분의 유해 콘텐츠에 효과적으로 적용하기까지 몇 년이 더 있어야 한다”고 지적했다.
또 그는 “AI 기술이 누군가가 혐오를 강요하고 있는지, 아니면 사람들이 그 문제에 대해 경각심을 갖도록 그들에게 일어난 어떤 일을 묘사하고 있는지 판단할 만큼 충분히 좋지 않다”면서 “스팸과 포르노 또는 가짜 계정 등 많은 영역에서 우리의 통제력을 우회하기 위해 지속적으로 전략을 변경하는 교묘한 적들과 맞붙고 있기 때문에, 우리는 페이스북을 모두에게 더 안전하게 만들기 위해 더 많은 사람과 더 나은 기술에 투자하고 있다”고 강조했다.
AI 기술 유해 콘텐츠 식별과 삭제에 활용 비중 점차 확대돼
과거 AI 기술의 역할은 콘텐츠의 유해성을 최종 판단하는 ‘인간 콘텐츠 관리자’를 돕는 역할이었다. 이후 인간 업무의 점점 더 많은 부분이 ‘AI 콘텐츠 관리자’에게 넘어갔다. 이는 AI 기술이 콘텐츠의 유해성 문제를 해결할 수 있을 것이라는 메타플랫폼스 경영진의 낙관주의에서 기인했다.
창업자인 마크 저커버그 최고경영자(CEO)는 지난 2018년월 5월 AI 기술로 해로운 콘텐츠 관리를 자동화하는 시스템을 자신의 페이스북 계정에 소개하는 글을 쓰면서 “2019년 말까지 우리는 대부분의 문제가 있는 콘텐츠를 선제적으로 탐지할 수 있도록 시스템을 훈련시킬 것으로 기대한다”고 밝혔다. 이후 페이스북은 실제로 유해 콘텐츠와 가짜뉴스 차단 등 커뮤니티 규정을 위반한 콘텐츠 대상 조치를 강화하기 위해 AI 기술 활용을 더 확대하는 쪽으로 움직이기 시작했다.
일례로 코로나19 확산 초기인 지난 2020년 5월부터 이 새로운 전염병으로 야기된 세계적인 공중보건 비상 시국에 페이스북으로 가짜뉴스가 유포되는 것을 막는 일에 AI 시스템이 투입됐다. 당시 ‘페이스북 AI 연구소’ 소속 전문가들은 블로그 포스팅을 통해 “질병에 대한 잘못된 정보는 뉴스의 헤드라인만큼 빠르게 퍼질 수 있고 합법적인 보도와 구별하기 어려울 수 있다”면서 “AI는 우리 서비스에서 콘텐츠를 검토하는 독립적인 팩트체커의 작업을 활용하고 확장할 수 있기 때문에, 이런 과제를 해결하고 잘못된 정보의 확산을 방지하는 중요한 도구”라고 밝혔다.
이 때만 해도 메타플랫폼스의 AI 기술은 페이스북에 유포되는 가짜뉴스를 식별할 때 인간 전문가인 외부의 팩트체커가 판정한 거짓 정보를 기준으로 활용한다는 점에서 여전히 인간의 판단을 우선시하되, 그 효율을 극대화하는 전략을 유지한 것으로 볼 수 있었다. 하지만 지난 2020년 11월 나타난 변화는 성격을 달리 한다. 당시 메타플랫폼스는 각국 언론사를 대상으로 AI를 활용하는 커뮤니티 규정 집행 방안의 변화를 소개했다. 현장에는 페이스북의 유해 콘텐츠 탐지를 위한 AI 탐지 시스템과 인간 관리자의 검토 시스템, 커뮤니티 지원 경험을 개발해 부적절한 콘텐츠로부터 서비스를 보호하는 ‘커뮤니티 무결성(Community Integrity)’ 팀 소속 엔지니어도 참석했다.
이 현장에서 회사측이 내놓은 설명에 따르면 과거의 이용자 신고 기반 콘텐츠 관리 시스템은 이용자가 문제가 있다고 판단한 콘텐츠를 신고하면 인간 관리자의 검토로 페이스북의 커뮤니티 규정 위반 여부 판단이 이뤄지고, 삭제 등 조치가 이뤄졌다. 이 때는 AI 기술이 게시물의 유해 수준을 감지하거나 커뮤니티 규정 위반 유형을 분류하지 못했다. 그런데 이 발표 시점에 이르러서는 콘텐츠 필터링과 유해 수준 순위 지정, 중복 게시물 제거 등의 능동적인 조치를 AI가 더 많이 수행하도록 바뀌었다. AI가 이용자 신고 없이 자체 유해 콘텐츠를 가려내 50여개 언어를 구사하는 1만5000명의 인간 콘텐츠 관리자에게 검토하도록 넘기는 처리 과정이 도입됐다.
AI 시스템으로 커뮤니티 규정 위배되는 콘텐츠 제재 자동화 추구
페이스북의 설명에 따르면 여전히 인간 담당자들이 주요 커뮤니티 정책 위반 사례에 대한 유해 콘텐츠 판단을 맡게 되지만, AI 기반 시스템은 잠재적인 피해 가능성을 예측해 처리가 시급한 콘텐츠를 제시하는 역할을 한다. 이로써 인간 관리자가 검토 소요 시간을 절감하고 의사결정에 도움을 받게 됐다고 페이스북은 설명했다. 하지만 이걸 뒤집어 보면, 이 AI는 페이스북에서 인간 관리자에게 무엇을 검토할 것인지를 미리 결정해 주는 역할을 하는 것이다. 전체 의사결정 단계에서 인간보다 AI의 판단을 우선하는 방식이 도입된 셈이다.
페이스북의 AI 기반 시스템은 일부 명확한 규정 위반 사례에 대해 인간 관리자의 검토 단계로 넘어가지 않고 자동으로 삭제나 계정 차단 조치를 취하기도 한다. 페이스북은 꾸준히 더 많은 AI 기술을 콘텐츠 관리 업무에 적용하고 있다고 지적했다. 당시 미국 온라인 IT미디어 더버지(The Verge) 보도에 따르면 페이스북의 상호작용 무결성 팀 소속 소프트웨어 엔지니어인 크리스 팔로는 AI가 완벽할 수 없다고 인정하면서도 페이스북의 AI 기반 자동화 콘텐츠 제재 기술이 인간 관리자만큼 정확할 때 인간의 개입 없이도 작동케 하고 있다면서 “자동화 조치의 기준은 매우 높다”고 언급했다. 하지만 그 기준을 일반 이용자들이 알기는 어렵다.
가이 로젠 부사장은 지난 2021년 11월 공개된 3분기 커뮤니티 규정 집행 보고서에서 페이스북의 혐오표현 비중이 전분기 0.05%에서 0.03%(콘텐츠 노출 1만건 중 3건) 수준으로 줄었다고 밝히고 뉴스피드에서 콘텐츠 문제를 줄이기 위한 기술과 순위 알고리즘을 지속적으로 개선하겠다고 강조했다. 이를 위해 페이스북은 70여종의 언어 콘텐츠를 검토하는 글로벌 부서와 50여종의 언어로 된 혐오발언을 다루는 AI 기술을 보유했고 유해 콘텐츠를 더 빠르게 더 다양한 언어와 유형(텍스트와 이미지 등)에 걸쳐 빠르게 식별할 수 있는 RIO, WPIE, XML-R 등 기술을 지속적으로 개발하고 있다고 설명했다. 그에 따르면 메타플랫폼스는 이제 AI 연구에 집중해 기술을 개선하고 관련 부서를 만드는 데 투자해 혐오발언을 줄이는 전략을 폭력, 선동, 괴롭힘 등에 대처하는 정책에도 동일하게 사용하고 있다. 그는 “언어, 뉘앙스, 문화 규범에 대한 이해가 필요한 혐오발언, 괴롭힘, 폭력과 선동을 더 잘 다루기 위해 우리는 세 분야에 통합적인 학습을 수행하는 새로운 교차 문제 AI 시스템을 배포했다”고 밝혔다.
논란의 AI 콘텐츠 관리자…대규모 관리에 한계 드러나
하지만 메타플랫폼스가 페이스북에서 AI 시스템을 활용해 대규모 유해 콘텐츠를 효율적으로 처리하려고 하는 전략은 완성 단계에 이르지 못했고, AI 시스템의 미숙함과 이에 따른 부작용은 내부자의 폭로와 이용자들의 비판 내지 제보를 통해 이따금 알려지고 있다.
저커버그 CEO는 4년 전 AI 콘텐츠 관리의 효능에 낙관적 시각을 견지했지만, 미국 온라인 IT미디어 아스테크니카는 지난 2021년 3월까지도 페이스북의 자동화된 콘텐츠 관리 도구가 SNS의 혐오 발언과 폭력, 선동의 극히 일부에 해당하는 게시물만을 삭제하는 한계를 보였다고 지난 2021년 10월 보도를 통해 지적했다.
이 보도에 인용된 메타플랫폼스의 내부 문서에 따르면 AI 기술을 통해 게시물 삭제 조치로 제거된 콘텐츠 노출 건수는 전체 혐오 발언 사례의 3~5%, 폭력과 선동 사례의 0.6%에 그쳤다. 이에 대해 내부고발자 프랜시스 호건이 월스트리트저널(WSJ)에 제보한 문건에 따르면 전체 혐오 발언 노출 건수의 2%만이 제거됐던 2019년 상황보다 1~3%포인트가 개선되었다고 할 수도 있겠지만, 여전히 문제의 큰 비중이 해결되지 않은 채 남아 있다는 얘기다.
아스테크니카는 같은 보도에서 페이스북의 한 선임 엔지니어가 2019년에 쓴 글에 “우리가 특히 민감한 분야에서 무결성을 해치는 대다수 사례를 포착할 수 있는 모델을 갖고 있지 못하고 어쩌면 절대로 갖지 못할 수 있다는 것이 문제”라며 “최근 추정치는 전략상의 큰 변화가 없는 한 단기간 내에 이것(유해 콘텐츠 노출 제거율)을 10~20% 이상으로 개선하는 것은 대단히 어려울 것”이라고 전망했다는 점도 전했다.
어쩌면 AI 시스템의 미숙함은 결국 인간 이용자의 힘으로 해결돼야 하는 문제일 수도 있다. 현재도 구체적으로 알려지지 않는 유해 콘텐츠 사례들은 SNS 이용자들의 제보를 통해 발견되고 처리된다. 이 글을 쓰고 있는 2022년 4월 26일에도 한 페이스북 그룹 내 ‘다가오는 이벤트’ 위젯 목록의 썸네일 가운데 허용되지 않는 포르노 이미지가 등록된 사례가 이용자의 제보를 통해 발견됐는데, 내부적으로 대응 중인 듯하다. 이처럼 커뮤니티 규정에 위배되는 이미지가 올라올 수 있는 이유는 이미지의 형상은 유지하면서 페이스북 AI 시스템의 자동 이미지 탐지 기능을 회피하는 방식으로 이미지를 변조하는 것이 기술적으로 가능하기 때문이다. 이용자들이 적극적으로 이런 사례를 제보하고 이에 따라 페이스북 AI 시스템을 다루는 엔지니어와 데이터 과학자들이 신속하게 대처하지 않으면 이런 사례를 AI 시스템이 탐지하고 해결하기 어렵다.
이용자 유치와 콘텐츠 관리 비용 최적화…메타플랫폼스의 딜레마
10여년 간 글로벌 사회관계망서비스(SNS) 시장에서 절대강자의 지위를 누려 온 페이스북은 어쩌면 지속 가능한 성장의 기로에 놓였다. 콘텐츠를 소비하는 이용자의 활동 이력과 취향 정보에 기반한 맞춤 광고를 핵심 수익원으로 삼는 페이스북이란 서비스에 AI 기반의 자동화된 콘텐츠 관리 정책의 효과는 결국 운영 기업의 사업 실적과 직결돼 있기 때문이다. WSJ 보도에 따르면 페이스북은 2019년 인간 콘텐츠 관리자 인력을 운영하는 비용으로 1억400만 달러를 지출했다. 커뮤니티 규정에 위배되는 콘텐츠를 찾고 삭제하기 위해 고용해야 하는 인력을 늘릴수록 더 많은 비용이 들지만, 이걸 잘 해낸다 한들 직접적인 이익으로 돌아오는 것은 아니다. 민간 기업이 콘텐츠 관리의 상당 비중을 인간이 아닌 AI 시스템에 맡기는 것은 필연적인 선택이다. 하지만 AI 시스템의 한계로 적절한 콘텐츠 관리가 이뤄지지 않는 데 반감을 느낀 이용자들이 떠난다면 결국 이 플랫폼의 광고 비즈니스도 성장할 수 없다. 메타플랫폼스는 이 딜레마의 균형점을 아직 탐색 중인 듯하다.
페이스북을 운영하는 메타플랫폼스는 지난 2월 2일 실적 발표를 통해 2021년 한 해 동안의 경영 성과를 공개했다. 이 회사의 2021년 매출은 1179억달러로 전년 대비 37% 증가했고 영업이익은 468억달러로 전년 대비 43% 증가했다. 여전히 거의 모든 매출이 핵심 사업인 광고 부문에서 나온다. 이 회사는 페이스북, 인스타그램, 왓츠앱과 같은 모바일 앱 기반 SNS에 접속해 콘텐츠를 올리고 소비하는 일반 이용자들의 정보를 광고 부문 사업의 원천으로 활용하고 있다. 페이스북의 2021년 4분기 일간 활성이용자수(DAU)는 19억2900만명으로 전분기 대비 100만명이 줄었다. 지난 2004년 페이스북 서비스가 출시된 이래로 전 세계 분기별 DAU가 감소한 일은 처음 일어난 이변이었다. DAU 감소의 주된 이유는 북미 지역의 이용자 이탈인 것으로 해석됐지만 한국에서도 비슷한 흐름이 포착된다. 국내 기업 아이지에이웍스가 제공하는 ‘모바일인덱스’를 통해 분석된 페이스북 월간 활성이용자수(MAU)는 최근 14개월(2021년 1월~2022년 2월)간 1300만여명에서 1200만명 미만으로 지속 하락세다. 다만 같은 기간 인스타그램의 MAU가 1700만여명에서 1800만여명으로 증가했고, 메타플랫폼스의 주요 앱 합산 MAU(중복제외)는 2100만명 이상을 유지하고 있다.
—
솔트룩스 네이버블로그 ‘인공지능 인사이트’ 필진으로서 작성한 네 번째 정기 원고. 220505 솔트룩스 네이버블로그 포스팅으로 게재됨. 230125 개인 블로그에 원문 비공개로 올림. 230430 공개로 전환.