답은 맞는데 풀이과정을 알 수 없는 인공지능을 믿어야 할까?

※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1778호(2016. 12. 28 발행)에 기고한 원고입니다. 

▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

풀이과정을 알 수 없는 인공지능에 대한 신뢰성.pdf

[ 요 약 ]

딥러닝(Deep Learning)을 응용한 시스템의 활용이 사회 각 분야로 확산되고 있으나, 동시에 AI의 문제점도 명확히 드러나고 있음. 문제 제기의 핵심은 ‘AI를 믿을 수 있는가’ 하는 것인데, 이는 AI의 결정 메커니즘을 사람이 온전히 알 지 못한다는 점에서 기인함. 의사보다 암 진단 정확도가 높지만, AI가 왜 그렇게 판단했는지를 모르기 때문에 신뢰성의 문제가 제기되는 것이며, 따라서 2017년에는 AI의 작동 메커니즘을 규명하려는 움직임이 적극 전개될 것으로 예상 [ 본 문 ]

◈ 인공지능(AI) 활용 시도가 다양하게 전개되면서, 사람들은 점차 ‘인공지능(AI)을 과연 신뢰해야 하는가’라는 문제에 직면하고 있음

• 딥러닝(Deep Learning) 기법을 응용한 다양한 인공지능 시스템 활용 사례가 속속 소개되며 기대감이 커지고 있으나, 동시에 AI의 문제점도 명확해지고 있음

• AI는 통계학적 수법을 통해 입력된 데이터로부터 어떤 특징의 양을 정밀하게 감지하며 의사결정을 내리는데, 사람들을 곤혹스럽게 하는 점은 AI가 왜 그런 의사결정을 내렸는지에 대해 설명해 주지 않기 때문임

• 가령 자율운전 차량은 인간보다 훨씬 안전하게 주행할 수 있다는 것이 실험을 통해 입증되고 있지만 그 운전 기술의 요체는 AI 개발자들도 모르며 오직 AI만 알고 있기에, 사람들은 ‘안전할 거 같긴 한데 믿을 수 있을까’라는 애매한 감정을 갖게 됨

• 구글 딥마인드는 바둑 인공지능 알파고를 개발하며 바둑의 규칙조차 입력하지 않았지만, 대결에서 패한 인간 최고수로부터 바둑을 이해하는 새로운 관점을 얻게 되었다는 찬사를 이끌어 냈는데, 이런 사실에 사람들은 기대감과 불안감을 동시에 느끼는 것

• 사정이 이렇다 보니 사람들이 느끼는 불안감 속에는, 사람이 AI를 이해하지 못하는 것이 아닌지, AI가 사람을 능가하는 것은 아닌가 하는 존재론적 의심도 배어 있음

◈ AI에 내포된 이런 본질적 문제는 다양한 형태로 드러나고 있는데, 중국계 AI 연구자들이 최근 발표한 얼굴 특징으로 범죄자를 식별하는 기술은 큰 논란을 낳고 있음

• 상하이교통대학(Shanghai Jiao Tong University)은 지난 11월 13일 ‘얼굴 이미지를 이용한 범죄연관성에 관한 자동화된 추론(Automated Inference on Criminality using Face Images)’이라는 논문을 공개

• 공개된 지 얼마 안되어 아직 피어 리뷰(동료 전문가 평가, peer review)도 끝나지 않았지만, 논문에 따르면 알고리즘은 89%의 정확도로 범죄자를 식별한다고 하는데, 즉 얼굴 사진을 알고리즘에 입력하면 그 사람이 범죄자인지 여부를 거의 알 수 있다는 것

• 이 연구에는 딥러닝 등 얼굴인식 AI 기술이 사용되었으며, 알고리즘을 훈련시키기 위해 남성 1,856명의 얼굴사진을 사용했고 그 중 730명이 범죄자였다고 함

<자료> Xiaolin Wu & Xi Zhang [그림 1] 얼굴인식 AI 기법을 이용한 범죄자 식별 가능성 연구

• 논문은 범죄자의 얼굴에 세 가지 특성이 있다고 언급하고 있는데, 윗입술의 선이 보통 사람에 비해 급격히 내려가고(그림1 오른쪽 이미지 속의 p), 두 눈의 간격이 좁으며(d), 코와 양 입가 사이에서 만들어지는 각도가 좁다(θ)는 점을 들고 있음

• 이 논문은 현재 논란의 와중에 있는데, 인물의 행동에서 범죄자를 식별하는 방법은 이미 감시 카메라 등으로 사용되고 있지만, 얼굴의 특징으로 범죄자를 가려낸다는 AI를 믿을 수 있는가 하는 의문이 제기되고 있는 것

• AI는 학습 데이터를 바탕으로 통계 처리를 하는 것이지, 얼굴의 모양과 범죄자를 연결시키는 논리가 아닌데, 만일 AI가 범죄 수사에 사용된다면 일반 시민들이 이유를 알지 못한 채 용의 선상에 오르게 될 지도 모른다는 우려가 나오고 있음

◈ 딥러닝이 사회문제가 될 수 있는 불씨는 도처에 도사리고 있는데, 세계 최첨단 AI 기술력을 보유한 구글 역시 AI와 관련해 인종차별 이슈로 문제점을 지적받고 있음

• 구글의 유튜브는 청각 장애인을 위해 동영상 속의 음성을 자막으로 표시하는 기능이 있는데, 구글은 이 기능에 AI를 사용하고 있음

• 미국국립과학재단(National Science Foundation)의 레이첼 태트먼(Rachael Tatman) 연구원은 유튜브의 캡션 기능에서 동영상 속 화자가 남성일 경우와 여성일 경우 캡션의 정확도가 다르지 않은가에 대해 조사를 실시하였음

<자료> Rachael Tatman. [그림 2] 구글 음성인식의 성별 편견

• 그 결과 유튜브는 남성의 목소리를 여성의 목소리보다 정확하게 인식하는 것으로 나타났는데, 남성일 경우 인식 정확도는 60%이지만, 여성의 목소리일 경우 정확도는 47%로 내려가 음성인식에서 여성이 차별을 받고 있는 것으로 나타남

• 이 차이가 발생하는지에 대해 시스템을 자세히 검증할 필요가 있는데, 태트먼은 AI 훈련에 사용된 음성 데이터 샘플이 성별로 균등하지 않고 남성에 치우쳤기 때문인 것으로 추측

• AI의 성능은 훈련 자료의 품질에 민감하게 좌우되는데, AI의 여성 차별과 인종 차별 문제가 표면화됨에 따라, 훈련 데이터의 공정성 여부가 추궁 당하고 있음

◈ 사람의 생명과 직결되는 의료 분야에서도 인공지능에 의한 판단과 결정을 어떻게 해석하고 검증할 것인지에 대한 논의가 시작되고 있음

• 딥러닝 기법은 최근 유방암 검사의 판정에서 성과를 올리고 있는데, 검체의 의료 이미지(CT 촬영사진, x-레이 사진 등)를 딥러닝 네트워크에 입력하면 AI는 암이 발병한 조직을 정확하게 검출해 냄

• 현재 AI의 유방암 진단 정확도가 인간을 웃돌기 때문에, 많은 병원에서 정밀한 치료를 위해 이 시스템의 도입을 시작하고 있음

• 그러나 동시에, 건강해 보이는 조직을 AI가 암 발병 가능성이 높다고 판정한 경우, 의사와 환자가 어떻게 대응해야 할 지가 논란이 되고 있는데, AI 판정만 믿고 몸을 여는 수술을 해야 하는지 어려운 판단을 내려야 하는 압박을 받게 됨

• 물론 유전자 검사에서도 동일한 문제가 발생하고 있으며, 유방암 발병을 촉진하는 유전자 변이인 ‘BRCA’가 검출될 경우 수술을 해야 하는지 여부가 논란이 되고 있음

• 여배우 안젤리나 졸리는 ‘BRCA1’ 변이 유전자를 보유하고 있으며 유방암 발생 확률이 87%라는 말을 듣고 아직 암이 발병하지 않았음에도 유방 절제술을 받은 바 있음

• 그러나 AI에 의한 검진의 경우는 이와 다른데, AI는 변이 유전자 보유라는 확실한 근거를 토대로 발병 확률을 제시하는 것이 아니며, 통계적 방법으로 유방암 여부를 판단할 뿐 그 조직에서 왜 암이 발병하는 지는 설명하지 않기 때문

• 이런 이유로 인공지능은 종종 ‘인공 무능’으로 조롱받는 것이며, 과학적 근거가 없는 결정을 어떻게 해석해야 할 지에 대해 의학적 검증 노력이 시작되고 있음

◈ 은행이나 핀테크 스타트업들도 최근 대출 심사에서 딥러닝을 사용하기 시작했는데, 심사 결과에 대해서는 대체로 만족도가 높지만 현행 법과 배치되는 문제가 발생하고 있음

• AI 대출 심사의 장점은 신청자의 데이터를 알고리즘에 입력하면 즉시 위험도를 평가할 수 있고 높은 정확도로 단시간에 대출 심사가 할 수 있다는 것

• 한편, 미국 대부분의 주 정부는 은행이 대출 심사를 통과하지 못한 사람에게 그 이유를 설명하도록 의무화 하고 있는데, 딥러닝은 그 과정이 깜깜이여서 은행은 탈락한 신청자에게 이유를 충분한 설명하지 못하게 됨

• 게다가 대출 심사 기준을 바꿀 때마다 알고리즘을 재교육하는데, 소프트웨어의 로직을 변경하는 것이 아니라 대량의 데이터를 읽어 들여 딥러닝의 변수를 다시 설정하게 하기 때문에 금융업계에서 AI 도입을 두고 찬반 논란이 일고 있음

◈ AI의 작동 알고리즘을 정확히 알지 못할 경우, 경험적으로 알게 된 AI 알고리즘의 맹점을 활용한 공격에 인증 시스템이 오작동 할 위험이 있음을 증명하는 실험도 있음

• 카네기 멜론 대학의 마무드 샤리프 교수 등은 안경으로 얼굴 인증 시스템이 오작동하도록 만들 수 있다는 내용을 담은 논문 ‘최신 얼굴 인식 기술에 대한 실제적이고 눈에 띄지 않는 공격(Accessorize to a Crime: Real and Stealthy Attacks on State-of-the-Art Face Recognition)’을 발표하였음

• 실험에 의하면 안경테의 폭이 약간 넓은 안경을 쓰면 시스템이 얼굴을 인식할 수 없게 되며, 따라서 방범 카메라의 감시 시스템을 빠져 나갈 수 있는 여지가 생김

<자료> Mahmood Sharif et al.. [그림 3] 간단한 트릭으로 얼굴인식 AI 교란

• 또한 안경테의 색 패턴을 변경하면 얼굴 인식 시스템이 다른 인물로 오인하는 것으로 나타났는데, 현란한 색의 종이로 만든 안경테를 걸치면 심지어 남성을 여성으로 잘못 인식하는 경우도 있었다고 함

• 얼굴 인식 시스템이 딥러닝 기법으로 얼굴의 특징을 파악한다고 하는데, 이 사례를 보면 눈매의 이미지를 판정에 사용하는 것으로 추정해 볼 수 있음

• 그러나 AI가 실제로 어떤 논리로 얼굴 인증을 하고 있는지는 아직 수수께끼이며, 이것이 규명되지 않는 한 얼굴 인증 시스템을 손쉽게 빠져 나가는 범죄자의 트릭을 막을 방법이 없음

◈ AI의 작동 메커니즘이 알려지지 않는 이유는, AI의 기초를 이루는 신경망이 인간의 뇌를 본떴기 때문인데, 인간 뇌의 정보 저장 방식이 아직 밝혀지지 않았기 때문

• AI의 신경망(Neural Network)으로 이미지를 판정할 때는 사진과 태그를 네트워크에 입력한 후 출력이 제대로 사진의 내용을 판정할 수 있도록 훈련시키는 과정을 거침

• 훈련 과정에서는 네트워크의 각층 사이의 연결 강도(Weight)를 조정하는데, 이러한 교육 과정은 인간의 뇌가 학습 할 때 뉴런의 연결 강도를 조정하는 움직임과 유사한 것으로 알려져 있음

• 학습에서 얻은 연결 강도는 각 뉴런(그림 4의 흰색 동그라미 부분)에 저장되는데, 따라서 신경망을 훈련시키는 메커니즘의 특징은 프로그램과 데이터를 한 곳에 모아 저장하지 않고 학습 데이터를 네트워크에 분산하여 저장할 수 있다는 것임

<자료> Neural networks and deep learning. [그림 4] 인공지능 신경망의 정보 저장 구조

• 인간의 뇌도 동일한 방식으로 작동하는데, 가령 뇌가 전화번호를 기억할 때, 첫 번째 숫자는 다수의 시냅스에 흩어져 저장되며, 두 번째 숫자도 마찬가지로 흩어져 저장되지만 첫 번째 숫자와 가까운 위치에 저장되는 것으로 알려져 있음

• 문제는 뇌의 이런 저장 메커니즘이 아직 정확히 밝혀지지 않았고, 따라서 뇌의 구조를 본 뜬 신경망의 정보 저장 메커니즘의 규명이 진행되지 못하고 있다는 점

• 딥러닝의 문제점은 응축하자면 지식이 네트워크 상에 눌어붙어 있다는 점에서 기인하는데, 즉 지식이 수천만 개에 이르는 뉴런에 흩어져 저장되기 때문에 시스템을 개발한 인간이 아니라 네트워크가 지식을 습득한다는 데 문제의 본질이 있음

◈ AI만이 알고 있는 답을 규명하기 위해 1990년대 초부터 연구자들이 AI의 블랙박스를 열려는 시도를 해왔는데, 규명의 과정이 곧 AI에 대한 의구심이 높아지는 과정이었음

• 카네기 멜론 대학은 1990년대부터 자동운전 기술의 기초 연구를 진행하고 있었는데, 당시 연구원 딘 포모루는 카메라에 포착된 영상으로 자동운전 알고리즘을 교육시켰음

• 몇 분간 알고리즘을 교육한 후 차량을 자동 주행시키는 시험을 반복했는데, 시험은 잘 진행되었지만 다리에 접근할 때 자동차는 도로에서 벗어나는 움직임을 보였고, 그러나 알고리즘이 블랙박스여서 그 원인을 알 수 없었음

• 소프트웨어를 디버깅하는 방법으로는 로직을 수정할 수 없기 때문에 포모루는 도로 도로주행 시험을 반복하며, 다양한 상황에서 자동운전을 반복하며 경험적으로 문제점을 밝혀낼 수밖에 없었음

• 그에 따르면 자동차는 갓길 바깥에 나있는 잔디 부분을 기준으로 주행 도로를 판정하고 있는 것으로 파악되며, 다리에 가까워지면 잔디 부분이 없어져 차로 판단 기준을 잃게 되므로 정상적인 주행을 할 수 없게 된 것임

• 이런 결론에 이르게 되자 포모루는 자동운전 기술을 AI로 구현한 자동차가 과연 제대로 작동할 것인지 확신할 수 없게 되었다고 함

◈ 현재에도 이와 동일한 문제에 직면하고 있는데, 무인 자율운전 차량들이 도로를 달리고 있는 지금, 사람이 AI 기술을 신뢰해야 할 지의 문제가 최대 이슈가 되고 있음

• AI의 운전 로직을 모르기 가운데, 어떻게든 안전 기준을 만들려다 보니 시행착오가 계속되고 있는데, 그 중 하나는 정해진 거리를 무사고로 주행 가능하다면 안전한 것으로 간주한다는 생각임

• 싱크탱크 랜드 코프(Rand Corp)는 인간이 자동차를 1억 마일 운전할 때 사망 사고는 1.09 회 발생하는데, 자율운전 차량이 인간만큼 안전하다는 것을 증명하기 위해서는 2.75억 마일을 무사고로 달릴 필요가 있다는 기준안을 제시한 바 있음

• 인간 수준의 안전성을 입증하기 위해서는 대규모 주행 시험이 필요하다는 말인데, 이는 자율운전 자동차의 안전 기준을 설정하는 작업이 난항을 겪고 있음을 잘 보여줌

◈ 그러나 자율주행 차량의 도입과 확산을 위해서는 결국 AI의 작동 메커니즘 규명이 반드시 전제되어야 할 것이므로, 이 문제를 기술적으로 해명하려는 움직임도 시작되었음

• 엔비디아(Nvidia)는 딥러닝을 이용한 자율운전 기술을 개발하고 있는데, 이 시스템의 명칭은 ‘데이브-2(DAVE-2)’이며 신경망으로 구성되어 있음

• 인간이 알고리즘에 주행 규칙을 가르치는 것이 아니라, 시스템이 신경망에서 이미지를 처리하여 안전한 경로를 파악하는데, 가령 곡선 도로의 이미지를 읽으면서 거기에서 운전할 때 알아야 할 필요가 있는 도로의 특징을 파악함

• 엔비디아는 AI가 어떤 기준으로 결정하고 있는지에 관한 연구를 함께 진행하고 있는데, 지금까지 블랙박스였던 AI의 핵심을 규명하는 시도임

• 연구의 결과, 엔비디아는 카메라가 포착한 사진과 이미지 인식 신경망(CNN)이 이것을 읽고 거기에서 추출한 특징을 비교해서 보여주며, AI가 도로를 어떻게 이해하고 있는지를 설명하고 있음

• 신경망이 보여 주는 굽은 도로의 특징을 보면, 특징량은 곡선이 대부분으로 CNN이 도로의 경계 부분을 기준으로 운전하고 있음을 알 수 있는데, 이런 방법을 통해 AI가 습득한 운전 기술의 요체를 사람이 시각적으로 이해할 수 있다는 설명

<자료>Nvidia. [그림 5] AI가 도로를 인지하는 방법

◈ 2016년이 인공지능의 가능성을 열어젖힌 원년이라면, 2017년은 AI의 블랙박스를 열어 그 작동 논리를 규명함으로써 AI 확산의 기폭제를 마련하는 해가 될 것으로 예상

• 자율운전 자동차를 포함 자율적 인공지능 시스템은 심층강화학습(Deep Reinforcement Learning)이라는 기법을 사용하여 알고리즘이 시행착오를 반복하여 정책을 학습하도록 하고 있음

• 심층강화학습 기법은 알파고에도 사용되고 있으며, 보다 지능적인 AI 개발의 핵심 기법이 될 것으로 보이는데, 현재 심층강화학습의 요체도 블랙박스이지만, 앞으로 이에 대한 규명 작업도 적극 진행될 것으로 예상됨

• 무언가 새롭고 획기적인 것인 등장했을 때, 그것의 요체와 작동 방식을 정확히 모른다면 사람들의 대응 방식은 무조건적인 거부 혹은 반대로 종교와 유사한 무조건적 추종과 같은 극단적 양상을 띨 위험이 있음

• 인공지능이 사회적 합의 위에 다양한 가치를 위해 활용되려면, 그 메커니즘에 대한 정확한 이해가 수반되어야 할 것이며, AI가 인간의 뇌를 본 뜬 것인 만큼, AI를 알아가는 과정은 곧 우리 인간이 스스로에 대해 더 많이 알게 되는 과정이 될 수 있을 것임