보라빛 소를 만나기 위한 도약

※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1824호(2017. 11. 29. 발행)에 기고한 원고입니다.

▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

딥러닝에도 보안 문제, 인공지능(AI)을 속이는 수법에 주의할 필요.pdf

ž 인공지능(AI)이 판단을 잘못하면 큰 사고를 일으킬 수 있기 때문에 구글은 AI의 신뢰성 훼손 시도에 대한 대응책 마련에 적극 나서고 있음

Ø 지난 10월 실리콘밸리에서 개최된 딥러닝 컨퍼런스 ‘베이런(BayLearn) 2017’에서는 딥러닝에 존재하는 보안 문제가 큰 테마로 다루어졌음

Ø 딥러닝은 데이터로부터 규칙을 도출하기 위해 신경망을 훈련시키는 과정을 거치는데, 이때 사용되는 데이터에 잘못된 것을 섞거나 데이터에 일종의 노이즈를 추가함으로써 AI에 오류를 발생시킬 수 있다는 것임

Ø 구글의 AI 연구 부문인 구글 브레인의 이언 굿펠로우는 앞으로 AI를 어떻게 방어할 것인가가 큰 과제가 될 것이며, 구글은 AI의 신뢰성 확보를 위해 대책 마련에 나설 것이라 밝힘

ž 이언 굿펠로우에 따르면 기계학습 기반의 이미지 인식 기술에 대한 공격 방법 중 대표적인 것이 ‘적대적 사례(Adversarial Example)’ 기법임

Ø 적대적 사례 공격은 이미지 인식 모델에 인식시키는 데이터(example)에 일종의 ‘노이즈’를 추가함으로써 이미지의 피사체를 오인시키는 공격 방법임

Ø 노이즈가 더해진 이미지는 사람의 눈에는 노이즈를 더하기 전과 변함없는 것처럼 보이지만, 이미지 인식 모델에는 전혀 다른 이미지로 비춰진다고 하는데, 노이즈가 가해진 이미지를 ‘적대적 사례’라고 부름

Ø 적대적 사례 공격이 무서운 이유는 악용하기가 용이하면서도 일상 생활에 미치는 영향이 클 수 있기 때문인데, 가령 자율운전 차량에 교통 표지판을 잘못 인식하게 하는 공격이 가능함

Ø 워싱턴 대학의 이반 에브티모프 등이 2017년 7월에 발표한 연구 결과에 따르면 교통 표지판에 정교하게 만든 스티커를 붙여 넣으면 이미지 인식 모델이 속아 ‘정지’ 표지판을 ‘속도 제한’ 표지판으로 잘못 인식하게 되었다고 하는데, 이는 자율운전의 안전성에 직결되는 문제임

ž 또 다른 대표적 공격 방법으로는 이미지 인식 모델을 도출하는 훈련 과정을 노리는 ‘교사 데이터 독살(Training Set Poisoning)’이 있음

Ø 이미지 인식 모델의 개발에는 일반적으로 인간이 식별한 피사체 정보의 태그가 붙은 ‘교사 데이터(트레이닝 세트, Training Set)’를 사용함

Ø 이 교사 데이터에 잘못된 태그를 부여한 이미지를 섞음으로써 피사체를 잘못 인식하는 이미지 인식 모델이 만들어지도록 하는 것이 ‘교사 데이터 독살’ 기법임

Ø 이 때 입력되는 이미지 데이터에는 잘못된 태그가 붙여질 뿐만 아니라 이미지 인식 모델을 속이기 위한 노이즈도 함께 부여됨

Ø 이언 굿펠로우는 최근 멀웨어 검출 엔진은 기계학습 기반으로 개발되고 있는데, 멀웨어를 개발하는 해커 집단이 보안 소프트웨어 개발회사의 교사 데이터에 잘못된 데이터가 섞이게 함으로써 멀웨어를 감지 할 수 없게 하는 공격이 있을 수 있다며 교사 데이터 독살의 예를 들었음

ž 기계학습에 대한 새로운 공격 수법이 속속 발견됨에 따라 그러한 공격으로부터 AI를 방어하는 기술의 개발도 진행되고 있음

Ø 구글은 적대적 사례 공격을 방어하기 위해 ‘클레버한스(Cleverhans)’라는 소프트웨어 라이브러리를 공개하고 있음

Ø 클레버한스는 유사 적대적 사례 공격을 실행할 수 있는 이미지 데이터 세트로, 이미지 인식 모델을 개발하는 연구자는 클레버한스가 제공하는 이미지 데이터를 사용해 자신이 개발한 모델이 적대적 사례 공격에 취약한 지 여부를 확인해 볼 수 있음

Ø 스탠퍼드 대학의 박사 과정에 있는 아디티 라후나탄은 베이런 2017에서 ‘볼록 완화(Convex Relaxations)’라는 기술을 이용해 적대적 사례 공격을 방어하는 연구 성과를 발표하였음

Ø 이 기술은 이미지 인식에 사용하는 신경망에 특별한 ‘숨겨진 레이어(음폐층)’를 추가하여 노이즈를 추가한 이미지라도 오인식을 하지 않도록 하는 것임

Ø 딥러닝은 최근 빠르게 성장하고 있는 기법인 만큼 보안 측면의 연구가 딥러닝 보급 속도를 따라 잡지 못할 우려가 있는데, 딥러닝과 관련된 소프트웨어 개발자는 보안 정보 수집 및 대책에 놓치고 있는 점이 없는지 다시 한번 확인할 필요가 있음