자율 이동 수단은 사고가 날 때 누굴 죽여야 할지 선택하도록 프로그래밍돼야 할까? 그리고 누가 그런 선택을 결정하는 코드에 접근할 권한을 가져야 할까?
열차 문제(The Trolley Problem)는 1967년 필리파 풋이 고안한 이래로 철학자들을 즐겁게 만들어 준 윤리적 난제였다.
역자 주: 필리파 풋(Philippa Foot)은 1920년 출생 영국 철학자다. 그가 제안한 열차 문제는 선로에 묶인 사람과, 브레이크가 고장난 채 그에게 돌진하는 열차, 레버를 조작해 그 열차 경로를 바꿀 수 있는 사람의 선택을 통해 현실의 생명 윤리에 초점을 맞춘 가치 판단의 딜레마를 환기시킨 유명한 사고 실험. 미국 정치철학자 마이클 샌델의 저서 ‘정의란 무엇인가’에도 인용된 바 있다.
달려오는 열차가 선로에 묶인 무고한 다섯 사람을 학살할 것이다. 당신이 레버를 당겨 열차의 진로를, 다른 한 사람 쪽으로 틀지 않는다면. 그 한 사람 역시 무고하며 이 상황을 알지 못한다. 레버를 당기면 당신은 다섯사람을 살리고 한 사람을 죽인다: 윤리적으로 행동하는 길은 무엇인가?
이 문제는 시대에 따라 다양하게 변주되어왔다. 그중에는 열차가 무고한 다섯을 죽이도록 놔둘 것인가 아니면 열차를 멈추기에 충분히 뚱뚱한 남자를 그 경로로 밀어 넘어뜨릴 것인가(그 결과 그는 살아남지 못한다) 중 하나를 선택하는 문제; 그 뚱뚱한 사람이 앞서 선로에 무고한 다섯 사람을 묶은 악당이었다는 변형 문제 등등.
이제 자동화 운행수단에 관련한 토론에서의 생명(에 관한 윤리적 문제)을 발견했다. 새로운 문제는 이런 식이다: 여러분의 자율주행차량이 당신을 죽이고 다른 사람, 이를테면 버스 한대를 채운 아이들을 구하도록 스스로 방향을 틀게 하게할 것인가; 아니면 당신을 구하고 아이들을 다 죽게 하는 쪽으로 나아가게 할 것인가. 그게 뭘 하도록 프로그래밍 되어야할까?
턱을 괸 자세로, 훗날을 내다보는 미래주의적 태도로, 항상 날 열받게 만든 이 질문을 들은 횟수를 난 헤아릴 수 없을 지경이다. 이런 발상은 얄팍한 문제를 심각한 것처럼 꾸며내는 것으로 충분히 나쁘지만, 그보다 훨씬 더 나쁜 건 이 발상이 더 심각하고 더 의미 있는 문제를 덮어버리는 방식이라는 점이다.
이 문제에 대해 생각하는 다른 방식은 이런 것이다: 만일 당신이 의도적으로 특정 상황에서 그 운전자를 살해하는 자동차를 디자인하려고 했다면, 그 운전자가 자기 소유물이 절대로 자신을 의도적으로 살해하지 않게끔 그 프로그래밍을 손본 것이 절대 아님을, 당신은 어떻게 확인할 것인가?
뻔한 답은 아이폰 모델이다. 오로지 교통부(또는 제조사)에 인가된 소프트웨어만을 받아들이도록 자동차를 설계하고, 그 잠금을 풀어버리는 방법을 사람들에게 가르치는 행위를 중범죄로 만드는 것이다. 이는 현재 아이폰, 게임 콘솔, 그리고 이밖에 다른 여러 많은 기기들처럼 소위 ‘DRM’이라는 상표명으로 익히 알려진 디지털 잠금 장치를 갖춘 기기들의 합법적인 풍경이다. 미국의 디지털밀레니엄저작권법(1998)과 EUCD(2001)같은 법령은 저작권 보호 대상에 대한 접근을 제한하는 디지털 잠금장치의 제거를 금지하고 기기의 취약점같은, 그 잠금 장치를 제거하는 데 도움이 될만한 어떤 정보든 공개한 사람을 처벌한다.
이에 관한 강력한 논쟁(strong argument)이 있다. 자율주행차량 프로그래밍은 연약한 인간들 사이에서 상시 도로를 오가며 고속으로 움직이는 물체에 책임을 지게 된다. 당신 자동차의 두뇌를 서툰 솜씨로 건드린다면? 그럴 바엔 먼저 자기에게 아마추어 뇌수술을 집도해 보는 게 어떨까?
하지만 이런 뻔한 답은 뻔한 문제를 품기 마련: 안 통한다. 선의에서, 잘 알려진 기술적인 이유에서, 모든 기기에 걸린 잠금 장치는 쉽게 풀려버리곤 한다. 디지털 잠금 장치의 일차적 효과는 사람들이 계속 그들의 기기를 변경(reconfiguring)하지 않도록 통제하는 것이다 – 이는 단지 그들이 어떤 기업이나 제품의 도움 없이 그렇게 해야 한다는 걸 보증할 뿐이다. 영국 통신규제기관 오프콤이 지난 2002년 모바일폰의 잠금 장치 해제 행위에 대한 합법성을 확인한 사례를 떠올려 보자; 당신 폰의 잠금 장치를 푸는 건 어려운 일이 아니다. 당신은 인터넷에서 그걸 해줄 소프트웨어를 내려받을 수 있고, 또는 불법적인 탈옥 사업을 수행하는 누군가에게 요청할 수도 있다. 하지만 (자기 소유의 기기에 걸린 잠금을 푸는 행위 자체는) 현재 완전히 합법적이며, 당신은 신문가판대나 심지어 세탁소에서 폰 잠금 해제를 받을 수도 있다.
만일 자율주행차량이 안전할 수 있는 상황이, 우리가 생각하기에 어느 누구도 제조사에서 승인한 형태를 고칠 수 없게 돼 있을 경우 뿐이라면, 절대로 안전해질 수 없을 것이다.
하지만 만일 우리가 자동차의 설정에 잠금 장치를 걸 수 있게 되더라도, 그러지 말아야 한다. 디지털 잠금 장치는 그 기기의 소유자조차 진입할 수 없는 컴퓨터 프로그래머의 영역을 만들어낸다. 그걸 작동시키기 위해, 잠금 장치에 관련된 파일들은 그 소유자에게 보이지 않아야 한다. 그들이 운영체제에 잠금 장치(로 숨겨진) 경로 안의 파일 목록을 요청할 때, 잠금 장치는 그 파일을 빠뜨린 목록으로 거짓 결과를 내놓아야 한다(왜냐면 안 그럴 경우 사용자가 그걸 지우거나 바꿔칠 수 있으니까). 그들이 운영체제에 실행 중인 프로그램 목록을 전부 달라고 했을 때, 잠금 프로그램은 생략돼야 한다(왜냐면 안 그럴 경우 사용자가 그걸 꺼버릴 수 있으니까).
모든 컴퓨터는 결함을 갖고 있다. 여러해동안 쓰여 온 소프트웨어라 하더라도, 그게 수천명의 프로그래머에 의해 검토된 소스코드로 구성된 것이라 해도, 그 안에 잠복한 미세한 버그를 품었기 마련이다. 보안은 제품이 아니라 프로세스다. 특히 버그를 당신의 적이 식별하고 악용하기 전에 그걸 식별하고 그걸 패치하는 프로세스다. 당신은 이런 일이 벌어지리라 확신하지 못하기 때문에, 보안은 당신의 적이 당신이 알아차리기 전에 취약점을 발견하고 악용할 때 그걸 밝혀내는 절차이자, 당신의 시스템에서 적을 쫓아내고 적이 입힌 피해를 복구하는 절차이기도 하다.
소니-BMG가 CD 자료 추출을 막기 위해 고안한 디지털 잠금 장치를 컴퓨터 수십만대에 몰래 감염시켰을 때, 그들은 잠금 장치가 기기 소유자 모르게 설치되고 소유자의 의지를 거슬러 실행되는 프로그램이라고 제대로 인식하는 안티바이러스 소프트웨어로부터 그걸 숨겨야 했다. 그들은 이걸 하기 위해 피해자들의 운영체제가 어떤 파일이든 이름 앞자리를 “$sys$”라는 특별한 비밀 문자열로 시작하면 그걸 감추도록 변경했다. 이게 알려지자마자 다른 유해소프트웨어 제작자들도 이 방식의 이점을 활용했다; 자신들의 프로그램을 소니가 조작한(compromised) 컴퓨터에 깔아 넣을 때, 그 프로그램은 소니의 장막 아래 숨어 안티바이러스 프로그램으로부터 보호받을 수 있었다.
자동차는 고속으로 움직이고 무거운 물체로 그 사용자와 그 주위의 사람들을 죽일 만한 힘을 가졌다. 그 소프트웨어에서 공격자가 브레이크, 액셀러레이터, 운전대를 장악하도록 허용하는 조작된 부분이 있다면 (지난 여름 140만대 차량 리콜 사태를 촉발한 [크라이슬러 지프에 대한 보안취약점] 사례처럼) 악몽같은 시나리오다. 이보다 더 나쁜 유일한 가능성은 사용자가 덮어쓸 수 없도록 설계된, 사실은 사용자가 그 프로그래밍을 우회하려는 어떤 시도든 열차 문제의 차가운 방정식를 피하려는 이기적 시도로 간주하도록 설계된 자동차의 보안취약점일 것이다.
역자 주: 위 문단 마지막 문장은 톰 고드윈(Tom Godwin)의 고전 SF단편 ‘차가운 방정식(The Cold Equation)’ 제목에서 따온 표현을 쓰고 있다. 소설에서 차가운 방정식은, 자연법칙의 한계 때문에 어떤 인위적인 노력으로도 사건에 연관된 모든 생명을 구할 수 없는 상황을 의미한다. 사용자가 사고시 무조건 탑승자 피해를 최소화하는 쪽으로 자율주행차량의 코드를 조작할 경우, 보행자나 다른 차량 탑승자의 피해가 그만큼 커질 수 있기 때문에, 그런 코드 조작 행위가 ‘차가운 방정식을 피하려는 이기적 시도’로 간주될 수 있다는 얘기다.
우리가 자율주행차량을 다루게 됨으로써 발생할 어떤 문제든, 자율주행차량이 그들의 탑승자를 적(adversaries)으로 간주하도록 설계됨으로써 더 나빠질 것이다.
저게 열차선로 문제에서 상상하는 어리석음 너머의 심원한 함의다. 네트워크로 연결된 장비의 세계는 이미 경찰이 그걸 감시할 수 있도록 허용하는 모종의 백도어를 다루도록 요구하는 “합법적 도청” 법률의 잡동사니(patchwork)에 의해 관장된다.
이들은 2011년 반체제 활동가로 의심되는 이들의 G메일 계정에 대한 중국 정부의 공격이 보안취약점을 동원한 합법적 도청으로 집행된 사례였고 또한 지난 2004년 올림픽 입찰 절차 기간에 그리스 정부에 대한 NSA의 도청도 그랬던 것처럼 컴퓨터 보안에서 문제를 낳는 원천이 돼 왔다.
이런 문제가 있음에도 사법기관은 더 많은 백도어를 원한다. 새로운 암호화 전쟁은, 영국에서 기업들이 그 제품의 보안을 약화시켜 그 사용자들을 감시할 수 있게 만들도록 강제하는 테레사 메이의 “Snooper’s Charter”를 통해 빚어진 싸움이었다.
역자 주: 테레사 메이는 영국 내무장관이며, Snooper’s Charter는 그가 발의한 통신정보법 초안(Draft Communications Data Bill)에 붙은 별칭이다. 위키피디아 설명에 따르면 이 법안은 영국 정부가 인터넷서비스업체(ISP)와 이동통신사들에게 개별 이용자의 인터넷 이용 내역과 이메일 송수신 및 음성통화와 게임 그리고 문자 등을 수집하고 12개월간 저장하도록 요구하는 내용을 담고 있다.
어쩌면 우리는 자율주행차량에도 합법적 도청의 여지(capability)에 대한 요구를 받을 수 있다; 경찰이 당신의 차를 강제로 끌고 갈 수 있는 신호를 보내는 권한 같은. 이는 열차선로 문제의 모든 요소와 그 이상의 문제를 품게 된다; 탑승자 의지에 반하는 방식으로 자동차를 움직일 수 있는 내재된 기능은 그 차량에 대해 성공적으로 법집행자 행세를 할 수 있는 어떤 도둑(crook), 살인자, 강간범에게든 선물이 돼버린다 – 우리가 굳이 정부의 경찰에 의한 수단(facility)의 사용을 불법이라 본다고 말하지 않더라도 – 이를테면, Bashar al-Assad의 비밀경찰이나 ISIS 점령 지역의 자칭 경찰들에게도.
저게 열차 문제의 어려운 부분이고, 그건 더 어려워진다: 도시정책입안자에게 자율주행차량의 주된 장점은, 일종의 운전자가 없는 우버(Uber)처럼 자가용 소유에 대한 문화를 바꿈으로써 길을 오가는 차량의 수를 줄일 것이라는 가능성이다. 우버는 심지어 로봇이 올 자리에 사람이 있는 자동화된, 계속 순환하는, 점대점 운행 차량단의 예행연습처럼 보이기도 한다 – 마침 글로벌리즘과 경쟁은 차례로 더 뛰어난 자동화와 많은 산업 프로세스로부터의 노동자 배제를 이끈 착취적 해외 노동관련 제도를 위한 길을 열어 줬다.
만일 우버가 그 비즈니스에서 노동자(workforce)를 착취했기에 도덕적으로 모호한 사업이라면, 그 모호성은 노동자들이 배제되더라도 사라지지 않을 것이다. 당신과 당신이 타긴 하되 소유하진 않는 차량과의 관계는, 앞서 얘기한 모든 문제들을 훨씬 더 심각하게 만든다. 당신은 자율주행형 우버(Autonom-uber)의 소프트웨어를 고치거나 (감시하거나 인증하거나) 할 권한을 갖지 못한다. 그건 제3자(운행 차량단의 소유자)가 덮어쓸 수 있도록 설계될 것이다. 거기에 보험사가 통제함직한, 사용자를 위한 조작 수단을 갖고 있을 수는 있지만 (승객이 조작할 수 있는 비상용 브레이크를 단 지하철 열차처럼) 당신은 보험사가 그런 걸 사용하지 못하게 막는 방식도 함께 쉽게 볼 수 있을 것이다.
열차선로는 잊어버려라: 자율주행차량의 운명이 노동 관계, 감시 가능성, 자본적 부의 분배 방향을 바꿔버릴 테니까.
—
이 글은 가디언 온라인판에 게재된 2015년 12월 23일자 기고문 “The problem with self-driving cars: who controls the code?” 전문을 저자 승인 하에 번역 게재한 것입니다.
기고문의 저자 코리 닥터로우(Cory Doctorow)는 캐나다 출신 영국 저널리스트 겸 SF작가이자 기술, 미래주의, SF 등을 주제로 다루는 블로그 사이트 ‘보잉보잉(Boing Boing)’의 공동편집자입니다. 창작자의 권리를 존중하면서 창작물의 공유를 장려하기 위해 고안된 ‘크리에이티브커먼즈라이선스(CCL)’을 보급하는 크리에이티브커먼즈 재단의 제안자이기도 합니다. 한국에는 지난해 10월 번역 출간된 소설 ‘리틀 브라더’의 작가로 알려져 있습니다.
—
160120 페이스북노트에 먼저 게재했던 번역문을 추가 보완, 편집해 160803 개인 블로그에 옮김. 170402 다시 옮겨 재편집.