무인 자율운전 차량의 핵심 쟁점 트롤리 문제, 동서양의 답은 다르다
※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1873호(2018. 11. 21. 발행)에 기고한 원고입니다.
▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.
무인 자율운전 차량의 핵심 쟁점 트롤리 문제, 동서양의 답은 다르다.pdf
[ 요 약 ]
자율주행 자동차의 안전성 우려 해소를 위해 현재는 돌발 상황 시 사람이 운전대를 넘겨받는 구조로 개발되고 있지만 이런 방식이 오히려 사고의 원인이 되는 경우가 발생하며 애초 아이디어대로 무인 자율운전차로 선회하려는 움직임이 가속화되고 있음. 무인 자동차 실용화를 위해서는 사고 위험 상황에서 알고리즘이 어떤 선택을 할 것인가 하는 소위 ‘트롤리 문제’가 중요한 이슈가 되는데, MIT 미디어 랩은 전세계 100만 명의 사람을 대상으로 이에 대한 조사연구를 실행하였음
[ 본 문 ]
◾ 자율운전 차량의 테스트 주행이 활발한 캘리포니아주의 차량등록국(DMV)이 공개하는 데이터에 따르면 2018년의 자율운전 자동차 사고 건수는 작년의 두 배 가량임
▸ 캘리포니아는 미국에서 자율운전 자동차의 도로 테스트가 가장 많이 실시되는 지역으로 구글 산하 웨이모(Waymo), 애플, 엔비디아(NVIDIA) 등 실리콘밸리 기업들은 물론, GM 크루즈 (GM Cruise) 등 메이저 자동차 업체와 미국 및 중국의 스타트업 등 총 60개사가 주 교통 당국으로부터 도로 테스트 허가를 받았음
▸ 주 당국은 도로 테스트를 허가하는 대신 사업자들에게 자율운전 차량이 일으킨 모든 사고를 보고하도록 의무화하고 있는데, 그 보고 건수가 2016년 15건, 2017년 29건이던 것이 2018년에는 10월 말까지 59건을 기록하고 있음
▸ 이미 연간 기준으로 지난 해 사고 건수의 두 배를 넘어선 것인데, 물론 테스트가 확대될수록 사고가 빈번해지므로 사고 건수보다는 발생 비율을 따져보는 것이 합당하나, 안전성 이슈에 민감한 자율운전차이다 보니 사고 건수 증가 사실 자체에 주목하는 시선도 많음
▸ 실제로 사고 건수 증가는 기업들이 테스트 주행거리를 급속히 늘리고 있기 때문으로 보이는데, 가령 웨이모는 지난 10월 10일에 자율운전 자동차 도로 시험 주행 거리가 누적 1,000만 마일(약 16만 2천 킬로미터)을 돌파했다고 발표한 바 있음
▸ 구글은 2009년부터 자율주행 자동차의 도로 주행 테스트를 시작했는데, 2018년 2월까지 누적 거리가 500만 마일에 도달했다고 발표했으니, 올해 3월부터 불과 8개월 만에 지난 약 10년 동안의 주행 테스트 거리만큼을 새로 달린 셈
[표 1] 2014~2018 캘리포니아주에서 발생한 자율운전 자동차 연루 사고 건수의 추이
2014 | 2015 | 2016 | 2017 | 2018(~10월) |
1 | 9 | 15 | 29 | 59 |
<자료> Department of Motor Vehicles, CA., IITP 정리 |
◾ 사업자별 사고 발생 건수를 보면 GM 크루즈와 웨이모, 두 기업의 비중이 압도적이며 특히 GM은 전체 사고 건수의 절반이 넘는 30건의 사고를 보고
▸ 웨이모는 12건을 보고했으며, 지금까지 총 7억 9천만 달러 투자를 유치한 미국의 스타트업 ‘죽스(Zoox)’가 5건을 보고했고, 2017년 6월 자율운전 기술 개발을 공식 발표한 애플도 2건의 사고를 보고하였음
▸ 그 밖에 위라이드(WeRide.ai), 오로라 이노베이션(Aurora Innovation), 드라이브(Drive.ai), 도요타 연구소 등이 1건씩의 사고를 보고하여, 보고 기업은 총 8개임
[표 2] 2018년 10월말 현재 캘리포니아주 발생한 자율운전 자동차 연루 사고의 기업별 보고 건수
GM Cruise | Waymo | Zoox | Apple |
32 | 16 | 5 | 2 |
WeRide.ai | Aurora Innovation | Drive.ai | Toyota Research Institute |
1 | 1 | 1 | 1 |
<자료> Department of Motor Vehicles, CA., IITP 정리 |
◾ 사고 건수가 증가하는 것은 우려할 만한 일이지만, 실제 사고 내용을 살펴보면 자율주행 자동차는 모든 사고 상황에서 피해 차량의 입장에 있다는 것이 다소 위안거리
▸ 우선 보고된 사고에는 ‘자율운전 모드(Autonomous Mode)’에서 일어난 것과 ‘수동운전 모드(Conventional Mode)’에서 일어난 것이 모두 포함되는데, 자율운전모드에서 일어난 사고는 36건(전체의 61%)이었으며 수동운전 모드의 사고는 23건(39%)이었음
▸ AI(인공지능)의 운전 실력을 가늠하기 위해서는 사고 보고서의 세부 사항을 살펴볼 필요가 있는데, 자율운전 모드에서 일어난 사고는 모두 ‘받힌’ 것이며 자율운전 차량에 오류가 있어 사고가 발생한 건수는 보고되지 않았음
▸ 그러나 이를 두고 자율운전을 맡은 AI에 책임이 없다고도 말하기 어려운데, 현재 자율운전 AI는 안전을 최우선으로 세팅된 경향이 있어 뒤따라오는 차량이 미처 생각지 못한 타이밍에 자율운전 차량이 급정지를 하는 경우가 있을 수 있기 때문
▸ 실제 보고서 내용을 토대로 자율운전 모드에서 일어나 사고의 내용을 분류해 보면 ‘추돌’이 20건(56%)으로 가장 많았고, 그 다음 ‘추월 접촉’이 7건(19%)이었는데, 이는 자율운전 AI가 인간 드라이버와 다른 행동을 했기 때문에 사고를 유발되었을 가능성을 시사함
[표 3] 자율운전 모드에서 발생한 사고의 충돌 유형
충돌(Collision) 유형 | 사고 건수 | 비율 |
추돌 | 20 | 55.6% |
추월 접촉 | 7 | 19.4% |
접촉 | 6 | 16.7% |
특수 케이스 | 3 | 8.3% |
<자료> Department of Motor Vehicles, CA., IITP 정리 |
◾ 자율운전 모드에서 난 사고만 놓고 보아도 GM의 보고 건수가 웨이모보다 많은데, 이는 GM이 주로 도심에서 테스트를 하는 점과 아직은 기술이 웨이모에 뒤져 있는 점이 작용한 것으로 보임
▸ 자율운전 모드에서 일어난 사고를 기업별로 보면 GM 크루즈가 21건으로 가장 많았고, 웨이모가 12건, 죽스 1건, 애플 1건, 중국의 스타트업 위라이드가 1건이었음
▸ GM 크루즈의 사고 빈도가 가장 많은 것은 교통량이 많은 샌프란시스코에서 주행 테스트를 하고 있기 때문으로 보이는데, GM 크루즈보다 먼저 자율운전 도로 주행 테스트를 대규모로 시작한 웨이모는 주로 교외에서 실행하고 있음
▸ 또한 2017년 시점에서는 GM 크루즈의 기술 수준이 웨이모보다 열등했는데, 보고서에 따르면 자율운전 AI가 판단을 잃어 인간 드라이버가 운전대를 넘겨받은 횟수가 웨이모는 5,596 마일당 1회였던 것에 비해 GM 크루즈는 1,254 마일당 1회였음
▸ 올해 1년 동안 기술에 진보가 있었는지는 내년 초에 보고서가 나와 봐야 알겠지만, 작년 기준으로는 GM 크루즈의 AI가 웨이모에 비해 5배의 빈도로 판단을 잃는 경우가 발생하고 이러한 기술 수준이 사고 건수에도 영향을 미쳤을 가능성이 있음
◾ 그러나 현재로서는 자율주행 자동차가 연루된 사고의 근본 원인이 정확히 무엇인지 단정하기 어려운 상태이므로 사고 건수와 자율운전의 기술 수준의 상관관계는 신중히 접근할 필요가 있음
▸ 지난 6월 웨이모는 현재 자율운전 기술의 한계를 보여주는 사고를 일으켰는데, 웨이모 차량이 원인이 된 이 사고는 실은 AI의 운전을 감시하는 ‘안전 드라이버(back-up driver)’가 고속도로 주행 중에 졸면서 실수로 액셀을 밟았기 때문에 발생하였음
▸ 드라이버가 액셀을 밟자 AI는 이를 운전 권한을 넘겨달라는 것으로 인식했고, 자율운전 모드가 긴급 해제된 자동차는 컨트롤을 잃고 중앙 분리대를 들이받게 된 것임
▸ 웨이모의 이 사고는 사람이 운전에 관여하는 것이 오히려 더 사람을 위험에 빠뜨릴 수 있음을 보여준 것으로, 자동차 사고를 없애기 위해서는 사람을 운전대에 앉게 해서는 안 된다는 자율운전차 개발의 최초 아이디어를 되돌아보게 만드는 계기가 되었음
▸ 웨이모는 2017년에 인간 드라이버가 운전석에 탑승하지 않는(driverless) 자율운전 자동차의 주행 테스트를 애리조나에서 시작했는데, 이 방향의 기술 완성도를 신속히 높이기 위해 2018년 10월 30일 캘리포니아에서도 테스트를 시작한다고 발표하였음
<자료> ars Technica
[그림 1] 운전대가 없는 자율주행 차량
▸ 과연 사람이 일절 관여하지 않는 드라이버리스 자율운전이 사람이 운전석에 앉는 현재의 자율전보다 안전하게 될 것인지, 웨이모가 진행하는 테스트는 자율운전의 실용화 방향을 점치는 데도 중요한 의미를 갖게 될 것으로 보임
▸ 여하튼 자율운전 기술을 현실 속에서 구현하기 위한 방안이 현재에도 계속해서 다양하게 모색 중이기 때문에, 자율운전 차량의 사고와 관련된 데이터는 표면적인 사고 건수보다는 실제 사고 내용과 사고 발생 상황에 대한 맥락까지 고려하여 신중하게 해석할 필요가 있음
◾ 캘리포니아 차량등록국의 보고서가 자율운전 차량의 현 상태를 보여준다면, MIT 미디어 랩이 발표한 ‘도덕적인 기계 실험’ 보고서는 언젠가 자율운전차가 겪게 될 윤리 문제를 제시하고 있음
▸ MIT 미디어 랩에서는 윤리적인 자율운전 기술을 연구하고 있는데, 자율운전차 개발에서 ‘트롤리 문제(Trolley Problem)’, 즉 자율운전 차량이 사고를 피할 수 없는 상황에 빠졌을 때 누구를 구하고 누구를 희생할 것인가는 고전적이나 아주 중요한 연구 주제임
▸ MIT 미디어 랩에서는 이 트롤리 문제를 일반화하여 전세계적인 여론 조사를 실시함으로써 각 나라의 사람들 사이에 공통된 의견과 차이가 보이는 부분을 연구하였음
▸ MIT 미디어 랩은 트롤리 문제를 ‘도덕적인 기계(Moral Machine)’라는 이름으로 일반화하여 연구를 진행하였고, 그 결과를 과학 잡지 네이처에 ‘도덕적인 기계 실험(The Moral Machine experiment)’이라는 제목으로 게재하였음
◾ 도덕적인 기계 실험은 개방형 크라우드소싱 방식으로 진행되었는데, 4년 동안 세계 233개국에서 100만 명 이상으로부터 답을 얻어 세계 최대 규모의 트롤리 문제 여론조사 도구가 되었음
▸ 도덕적인 기계 실험은 윤리학의 사고 실험에서 사람을 구하기 위해 다른 사람을 희생하는 것이 허용될 수 있는가라는 주제를 자율운전 자동차에 적용하여, 13 가지의 케이스를 만들어 웹 사이트에 게재한 후 공개 실험으로 진행되었음
▸ 전세계 사람 누구나 도덕적인 기계 사이트(http://moralmachine.mit.edu/)에 접속하여 13 가지의 경우 각각에 대해 자율운전 자동차가 어떤 조치를 취해야 할 것으로 생각하는지 투표할 수 있었음
<자료> http://moralmachine.mit.edu/hl/kr
[그림 2] 도덕적인 기계 실험
▸ 문제는 자율운전 자동차의 브레이크가 고장 났을 때, 알고리즘은 인명을 구하기 위해 어떻게 판단해야 할지를 선택하는 것인데, 두 가지 상황을 그림으로 제시하고 어느 쪽이 보다 윤리적 인 것인지 판단하여 답변하도록 하였음
▸ 두 가지 선택 사항은 보행자와 탑승자의 다양한 상황맥락을 제시하는데, 가령 자율운전 차량이 그대로 직진하여 노인 보행자 세 사람을 희생시킬 것인지, 아니면 핸들을 꺾어 바리케이드에 충돌함으로써 젊은 차량 탑승자 세 명을 희생시킬 것인지 선택하게 하였음
▸ 혹은 신호등을 무시하고 무단 횡단을 하는 남성 경영자와 신호등을 준수하여 횡단보도를 건너고 있는 여성이 있을 경우 어느 사람에 충돌할 것인지 선택하게 하거나, 남성 경영자와 노숙자 중 누구와 충돌할 것인지를 선택하게 하였음
▸ 선택 조건의 주요 기준은 법규 준수 여부의 중요도, 희생자 숫자의 중요도, 사회적 가치관 선호도, 종에 대한 선호도, 연령 선호도, 체력 선호도, 승객 보호 선호도, 개입에 대한 회피 선호도, 성별 선호도 등임
[표 4] 도덕적인 기계 실험에서 제시되는 13 가지 상황의 예 (실험자마다 각기 다른 13가지 상황 제시)
선택지 A | 선택지 B | ||||
보행자/승객 | 범규 준수 | 대상자 구성 | 보행자/승객 | 법규 준수 | 대상자 구성 |
보행자 | 신호준수 | 남성1 | 보행자 | 신호준수 | 노숙자1 |
보행자 | 신호준수 | 노인남성1, 범죄자1, 산모1, 노숙자1 | 승객 | - | 개2, 고양이2 |
보행자 | 신호준수 | 남성1, 여성운동선수1, 남성운동선수1 | 승객 | - | 비만남성2, 비만여성1 |
보행자 | 무단횡단 | 비만여성1 | 보행자 | 신호준수 | 노인남성2, 비만여성2, 여성운동선수1 |
보행자 | 신호준수 | 여성1, 남성2 | 보행자 | 무단횡단 | 노숙자1 |
보행자 | 신호준수 | 노인남성3, 여성2 | 보행자 | 신호준수 | 남자아이1, 남성2, 여자아이2 |
승객 | - | 여성운동선수2 | 보행자 | 신호준수 | 비만여성3 |
보행자 | 신호준수 | 여자아이1, 여성의사1, 노숙자1 | 보행자 | 무단횡단 | 여자아이1, 여성의사1, 노숙자1, 산모1 |
보행자 | 신호준수 | 여성의사1, 여성경영자1, 노인여성1, 여자아이1, 여성운동선수1 | 승객 | - | 남성의사1, 노인남성1, 남자아이1, 남자운동선수1 |
보행자 | 무단횡단 | 산모1 | 보행자 | 신호준수 | 산모1, 노인여성1, 범죄자1, 고양이1, 여성운동선수1 |
보행자 | 신호준수 | 남성2, 여성1, 노인남성1 | 보행자 | 무단횡단 | 남자아이2, 여자아이1, 남성1 |
보행자 | 신호준수 | 여자아이2, 여성2, 여성경영자1 | 보행자 | 신호준수 | 남자아이2, 남성2, 남성경영자1 |
보행자 | 신호준수 | 여성경영자2, 비만남성1, 남성1 | 승객 | - | 개2, 고양이1 |
<자료> http://moralmachine.mit.edu/hl/kr, IITP 정리 |
◾ 논문은 답변 결과를 분석하여 자율운전 자동차가 취해야 할 윤리적 행동을 9가지 케이스로 정리하고 그 순위를 보여주고 있음
▸ 분석 결과를 보면 사람들의 생각이 대체로 일치하는, 따라서 자율운전 자동차의 알고리즘에 우선 요청할 수 있는 상위 3가지는 ‘애완동물보다는 사람의 생명을 구하기’, ‘한사람이라도 많은 인명을 구하기’, ‘노인보다는 젊은이의 생명을 구하기’인 것으로 나타났음
▸ 그 다음으로는 ‘법을 준수한 사람을 먼저 구하기’, ‘사회적 지위가 높은 사람을 먼저 구하기’인 것으로 나타났으며, ‘날씬한 사람 먼저 구하기’, ‘여성 먼저 구하기’, ‘보행자 먼저 구하기’ 등에 대해서는 상대적으로 의견이 나뉘는 것으로 나타났음
<자료> Iyad Rahwan et al.
[그림 3] 도덕적인 기계 실험의 결과 나타난 선택의 우선순위
◾ 한편 흥미로운 결과는 자율운전 차량에 요구하는 윤리적 행동은 국가마다 특성이 있다는 것인데, MIT 미디어 랩은 국가별 특성을 분류하여 전세계를 크게 세 그룹으로 나누었음
▸ 세 그룹은 Western(미국과 유럽), Eastern(아시아), Southern(남미 등)이며, 이 그룹에 속한 국가들은 자율주행차가 취해야 할 9 가지 행동기준에 대해 대체로 공통점을 보였음
▸ 한국이 속한 Eastern 그룹에서 한국, 중국, 일본은 비슷한 특성을 나타냈는데, 구체적으로 자율운전 차량이 ‘노인과 젊은이 중 누구를 구할 것인가’라는 질문에서 양자 사이에 큰 차이가 없어 젊은이의 생명을 우선할 필요는 없다고 보는 것으로 나타났음
▸ Eastern 그룹의 그래프를 보면 ‘Sparing the Young(젊은이 구하기)’ 값이 0으로 나타나는데, MIT 미디어 랩은 이것이 유교 사상의 영향으로 노인을 존경하는 문화에서 기인하는 것으로 분석하고 있음
▸ Western 그룹은 9가지 행동 기준에 대해 모두 중요하게 생각하는 결과를 보여주고 있으며, 그 중에서도 특히 ‘더 많은 인명 구하기(Sparing More)’를 요구하고 있는데, 이는 이 항목을 중요하게 생각하지 않는 Eastern 그룹과 명확히 대비되는 부분임
▸ Southern 그룹의 경우 ‘사회적 지위가 높은 사람 구하기(Sparing Higher Status)’를 선택한 비중이 높았는데, 개인주의가 가치관을 구성하는 Western에서는 많은 인명을, 빈부 격차가 심한 Southern에서는 사회적 지위가 높은 사람을 구하려는 성향이 나타난 것으로 보임
<자료> Iyad Rahwan et al.
[그림 4] 권역별로 다르게 나타난 도덕적인 기계 실험의 결과
◾ 웨이모와 이미 운전자가 탑승하지 않는 자율주행차의 도로 주행 테스트를 시작한 상황에서 MIT 미디어 랩의 연구는 국가별로 윤리적 행동에 대한 공감대 조성 노력이 필요함을 시사하고 있음
▸ 도덕적인 기계 실험의 결과를 자율운전차 기술에 구현하기까지는 해결해야 할 과제가 적지 않은데, 가령 컴퓨터 비전이 보행자의 성별이나 연령 및 복장 등을 판정할 수는 있지만 자율운전 차량의 센서가 이를 즉시 100%의 정확도로 판정하는 것은 아직 어려움
▸ 또한 교통사고는 물리적 현상들이 복잡하게 얽혀 누가 사망할 것인가라는 예측에는 한계가 있을 수밖에 없고 부상의 정도도 간단히 생각할 수 없는 부분임
▸ 따라서 기술 구현의 첫 번째 단계는 간단한 모델에서 고찰을 시작하는 것인데, 현재는 애완동물이 아니라 사람을 먼저 구하게 하는 기술 정도가 개발에 들어가 있는 상태임
▸ 트롤리 문제는 아직은 좀 먼 이야기로 들릴 수도 있지만, 안전 운전자가 탑승하지 않는 무인 자율운전차가 이미 주행을 시작했고 이는 자동차의 알고리즘이 특정 사람의 생명을 구하는 판단을 내리게 되었음을 의미함
▸ 어차피 지금의 교통사고에도 우연의 요소가 많으니 자율주행차가 어떻게 선택하든 그냥 복걸복으로 받아들이자는 사람들도 있으나, 인간의 생사를 알고리즘이 결정하는 것에 생래적 거부감을 가지고 자율운전 차량에 위화감을 느끼는 사람들도 많이 있음
▸ 이런 불안이나 위화감을 해소하기 위해서는 우선 자율운전 자동차의 기술 안전성이나 사고를 선제적으로 방지하는 방법들을 명확히 설명해야 할 것이며, 궁극적으로는 어떤 기준 하에 알고리즘이 선택한 것인지에 대해 공개하라는 사회적 압력에 직면할 가능성도 있음
▸ 그러나 알고리즘 로직 공개는 현실적으로 사고 발생 시 책임 소재와 직결되는 민감한 사항이어서 제조업체, 소프트웨어 개발업체, 보험회사 등이 절대 공개하지 않을 것이므로 이를 둘러싼 논쟁들이 아마도 치열하게 전개될 것임
▸ 새로운 기술을 서비스로 정착시키기 위해선 이런 산통을 반드시 겪게 될 것인데, 특히 국가마다 무엇이 윤리적 행동인지에 대한 기준이 다르다는 MIT 미디어 랩의 연구 결과는 윤리적인 자율운전차에 대한 사회적 논의가 조속히 개시될 필요가 있음을 시사하고 있음