보라빛 소를 만나기 위한 도약

※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1833호(2018. 2. 14. 발행)에 기고한 원고입니다.

▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

AI로 AI를 개발하는 기술의 진전, 성당에서 시장으로 나오는 AI.pdf

[ 요 약 ]

[ 본 문 ] 

ž 미국의 오크 릿지 국립 연구소(Oak Ridge National Laboratory)는 기존 범용 신경망을 이용한 연구에 한계가 있음을 느끼고 과학 연구 전용의 고도 신경망 개발에 나서게 있음

Ø 오크 릿지 연구소는 미국 에너지부 산하 기관으로 과학의 수수께끼 규명을 목표로 하고 있는데, 세계 최고 수준의 수퍼 컴퓨터인 ‘타이탄(Titan)’을 운용하는 곳으로도 유명함

Ø 타이탄은 크레이(Cray) 사가 개발했으며, 18,688개 노드로 구성된 병렬 머신으로 각 노드에 CPU(AMD 옵테론)와 GPU(엔비디아 케플러)를 탑재한 세계 최대 규모의 수퍼 컴퓨터임

Ø 이 연구소는 몇 년 전부터 최근 급속히 발전한 이미지 인식과 음성 인식 신경망을 이용한 연구를 진행해 왔으나, 상용화된 범용 신경망을 기초과학 연구에 적용한 결과 기대한 만큼의 성과는 얻을 수 없었다고 함

Ø 그 이유는 과학 연구에서 다루는 데이터의 특수성과 신경망 교육에 사용할 수 있는 데이터의 수가 제한되어 있기 때문이었으며, 따라서 오크 리지 연구소는 과학 연구를 위한 전용 신경망 개발의 필요성에 직면하게 되었음

Ø 이에 따라 오크 릿지 연구소는 타이탄을 이용해 과학 연구에 적합한 고정밀 신경망을 개발하게 되었으며, 현재 이를 활용해 물질과학 및 입자 물리학의 연구를 진행하고 있음

ž 오크 릿지 연구소가 과학 전용의 신경망 개발에 있어 수퍼 컴퓨터를 이용한 부분은 신경망 최적화 단계로, 이전까지 인간이 담당하던 작업을 AI를 이용해 실행한 것이 특징

Ø 연구진은 특정 데이터 세트에 대해 최적의 신경망이 존재한다는 전제에서 그 구조를 탐구 해 왔는데, 이 연구는 소위 ‘하이퍼 파라미터 최적화(Hyper-Parameter Optimization, HPO)’의 문제로 귀결됨

Ø 하이퍼 파라미터는 신경망의 기본 모델, 즉 신경망 각층의 종류와 그 순서, 네트워크의 층수 등을 의미하며, HPO는 이들 기본 요소를 조합하여 네트워크를 최적화하는 작업임

Ø 달리 표현하면, 대부분의 기계학습 알고리즘에서는 연구자들이 지정해 두어야 할 설정들이 많은데 이런 다양한 튜닝 옵션들을 하이퍼 파라미터라 부르며, 성능을 최적화하거나 편향과 분산 사이의 균형을 맞출 때 알고리즘을 조절하기 위해 HPO를 수행함

Ø 성능 최적화를 위해 하이퍼 파라미터를 튜닝 하는 것은 연구자들 사이에서는 ‘예술’이라 불릴 만큼 어렵고 정교한 작업이며, 어떤 데이터 세트에서 최고의 성능을 보장하는 쉽고 빠른 튜닝 작업 방법은 없는 것으로 알려져 있음

Ø 하이퍼 파라미터 최적화는 기존 딥러닝 소프트웨어(Caffe, Torch, Theano 등)를 사용하여 수작업으로 실시되며, 표준 소프트웨어를 개조하여 신경망 각 층의 종류와 순서, 네트워크 층수 등 신경망의 토폴로지(망 구성)를 결정하게 됨

Ø 그 다음으로는 생성된 신경망을 교육하고 그 성능을 검증하는데, 이 과정을 여러 번 반복하여 최적의 신경망의 형태를 얻게 되며, 이 과정은 연구자가 경험과 감에 전적으로 의존하여 진행되기 때문에 통상 새로운 신경망을 생성하는 데 몇 달씩 소요되기도 함

Ø 그런데 오크 릿지 연구소는 이 튜닝 작업을 AI로 설계하고 이를 수퍼 컴퓨터로 실행함으로써 큰 ​​성과를 올렸는데, 즉 특정 연구에 최적화 된 신경망을 연구자의 수작업이 아니라 AI로 생성시킨 것

Ø 이 방식을 통해 오크 릿지 연구소는 과학연구 전용 신경망을 단 몇 시간 만에 생성하는 데 성공했으며, 이렇게 AI가 만든 신경망이 현재 중성미립자(Neutrino) 연구에 크게 기여하고 있다고 함

ž 오크 릿지 연구소가 신경망 생성에 이용한 AI는 MENNDL(Multinode Evolutionary Neural Networks for Deep Learning)이라 부르는데, 생물이 진화하는 방식을 모방한 것이라고 함

Ø 사람이 HPO를 하는 것과 마찬가지로, MENNDL 우선 특정 데이터 세트, 가령 중성미립자 실험 데이터의 처리에 특화된 신경망을 생성한 다음 신경망을 교육시키고 그 성능을 평가하며, 그 평가 결과에 따라 신경망 구조를 변화시킴으로써 성능 향상을 도모함

Ø 이 과정을 반복하여 고급 신경망을 생성하게 되는데, 이 기법은 생물의 DNA가 배합과 변이를 반복하며 진화하는 방식을 모방하고 있기 때문에 ‘진화적 알고리즘(Evolutionary Algorithm)’이라 불림

<자료> Oak Ridge National Laboratory

[그림 3] MENNDL의 진화적 알고리즘

Ø MENNDL은 생성된 신경망의 교육과 성능 평가를 타이탄 수퍼 컴퓨터의 노드를 이용해 수행하는데, 마스터(master) 노드에서 진화의 프로세스를 실행해 신경망을 생성하면, 워커(worker) 노드는 생성된 네트워크를 교육하고 그 성능을 평가하게 됨

Ø 딥러닝 알고리즘을 포함하고 있는 수정 가능한 소프트웨어 프레임워크로는 ‘카페(caffe)’ 를 사용하여 워커 노드에서 대규모 병렬 실행을 하며, 마스터 노드와 워커 노드 사이의 통신은 Message Passing Interface라는 프로토콜을 사용하고 있음

ž MENNDL을 활용하고 있는 것은 오크 릿지 연구소뿐 만이 아니며, 현재 여러 연구기관에서 의료 연구나 우주 탄생 연구 등에 적합한 신경망 생성에 활용하고 있음

Ø 소아암 연구로 유명한 세인트 주드 소아 병원(St. Jude Children 's Research Hospital)은MENNDL을 이용해 생성한 신경망을 의료 연구에 사용하고 있는데, 3D 전자 현미경으로 촬영한 이미지에서 미토콘드리아를 식별하는 신경망을 생성하였음

Ø 미토콘드리아는 발견할 수 있기는 하지만 존재하는 위치가 다양하며 모양과 크기가 달라 사람이 식별하기는 어렵기 때문에, 세인트 주드 병원은 MENNDL을 이용해 미토콘드리아를 식별하기 위한 의료 전용 신경망을 생성한 것임

Ø 페르미 국립 가속기 연구소(Fermi National Accelerator Laboratory) 역시 MENNDL을 이용해 중성미립자 검출을 위한 전용 신경망을 생성하였음

<자료> Fermi National Accelerator Laboratory

[그림 4] 페르미 연구소의 뉴트리노 관측기기

Ø 중성미립자는 입자 중에서 페르미온(Fermion)으로 분류되면 질량은 매우 작고 다른 입자와 상호 작용이 거의 없으며 투과성이 높아서 감지해 내기가 매우 어려움

Ø 중성미립자 연구는 초기 우주의 규명과 물질 구조의 규명으로 이어질 것으로 기대되어 각국에서 경쟁적으로 연구가 진행되고 있는 분야임

Ø 페르미 연구소는 관측 장치를 개발해 중성미립자를 대량으로 생성한 후 그 상호작용을 연구하고 있는데, 중성미립자 검출에 특화된 구조를 가진 신경망을 이용하고 있음

Ø 신경망은 관측 사진을 분석해 중성미립자가 장치 내 어디에서 상호작용을 일으킨 것인지를 정확히 파악하는데, 사진에는 다른 입자들이 일으킨 상호작용도 무수히 기록되기 때문에 일반적인 신경망을 통해 중성미립자를 골라 내는 것은 매우 어려운 일이었음

Ø 그러나 MENNDL을 통해 전용 신경망을 만들 수 있게 됨에 따라, 아주 드물게 발생하는 중성미립자의 상호 작용을 정밀하게 식별할 수 있게 된 것임

Ø 페르미 연구소에서는 MENNDL로 50만 종류의 신경망을 생성하고 이를 교육한 후 성능을 평가했는데, 교육 데이터로 중성미립자의 상호작용을 기록한 이미지 80만 장을 사용했으며, 평가를 통해 가장 판정이 정확한 신경망을 선정해 연구에 활용하고 있음

Ø 이러한 일련의 과정은 오크 릿지 연구소의 경우와 마찬가지로 타이탄의 18,688개 노드에서 병렬로 실행되었는데, 과학 전용 신경망의 개발과 이를 이용한 과학 연구는 AI 수퍼 컴퓨터의 도입으로 비로소 가능해졌다고도 볼 수 있음

ž 한편 특정 용도의 신경망을 AI로 생성하는 것이 수퍼 컴퓨터 이용이 가능한 대형 연구소에서만 가능한 것은 아니며 일반 기업도 가능해졌는데 여기에는 구글이 기여한 바가 큼

Ø 구글은 이미 AI를 이용해 고급 기계학습 알고리즘을 생성하는 ‘오토(Auto)ML’ 기술을 사내 에서 자체적으로 이용하고 있었는데, 최근 이 기술을 ‘클라우드 오토ML’이라는 클라우드 서비스 형태로 공개하였음

Ø 오크 릿지 연구소의 전용 AI 개발은 세계 최고급의 수퍼 컴퓨터가 있기에 가능한 측면이 있었고, 그러한 고도의 컴퓨팅 자원을 보통의 기업이 갖추기는 현실적으로 어려운 것인데, 구글이 클라우드 오토ML을 공개함에 따라 전용 AI 개발에 대한 접근성이 높아진 것임

Ø 구글이 ‘오토ML’을 개발하고 또 공개한 이유는 오크 릿지 연구소의 경우와 동일한데, ‘일반 AI’가 다양한 기능이 있기는 하지만 고급 판정 능력이 필요한 특정 업무에는 사용할 수 없어 ‘전용 AI’를 개발해야 하며, 이 작업을 할 수 있는 AI 연구자는 극소수이기 때문

Ø 아마존이나 마이크로소프트와 마찬가지로도 이미 구글은 ‘클라우드 ML 엔진’이라는 서비스를 통해 ‘일반 AI’를 클라우드로 제공하고 있었으며, 이 서비스를 이용하는 기업들은 구글이 제공하는 ‘클라우드 비전 API’를 통해 이미지 인식 처리를 실행할 수 있음

Ø 클라우드 비전 API를 이용하며 쉽게 사진을 분류할 수 있는데, 가령 하늘의 구름 사진을 입력하면 시스템은 ‘sky’와 ‘cloud’라고 정확히 분석 결과를 보여주며, 인물 사진을 입력하면 사람의 얼굴 형태임을 인지하고 그 표정을 분류하는 기능도 제공하고 있음

Ø 그러나 기상 전문가들에게는 이러한 클라우드 비전 API를 이용한 이미지 판정 기능이 충분하지 않은데, ‘sky’나 ‘cloud’ 정도만을 판정하는 기능으로는 ‘권운(cirrus)’, ‘권적운(Cumulus humilis)’ 등과 같이 구름의 종류를 판정할 수 없기 때문

Ø 따라서 구름의 종류를 판별 할 수 있는 기계학습 알고리즘을 개발하는 것이 요구되지만, 이 작업을 할 수 있는 연구자의 수는 많지 않으며 개발 작업에도 많은 기간이 소요되는 문제점이 있었으며, 이러한 수요에 부응해 구글이 내놓은 것이 ‘클라우드 오토ML’임

Ø 클라우드 오토ML을 이용하면 AI가 연구자 대신 ‘전용 AI’를 짧은 시간 안에 개발해 주기 때문에, 기상 전문가들은 구름의 종류를 판정 할 수 있는 기계학습 알고리즘을 클라우드 오토ML을 이용해 자동으로 생성할 수 있음

ž 구글에 따르면 클라우드 오토ML로 생성한 알고리즘의 인식률은 일반적인 신경망보다 정확도가 높아 활용가치가 더 높으며, 이미 다양한 분야에서 성공 사례가 나오고 있음

Ø 오토ML을 이용하면 우선 신경망 개발 기간을 크게 단축 할 수 있는 것이 장점으로, 파일럿 모델이라면 몇 분 안에 가능하고 프로덕션 모델이라도 하루 정도면 개발이 가능한데, 이렇게 금세 만든 신경망이라도 인식률은 기존 일반 AI보다 높다고 함

Ø 구글은 클라우드 오토ML을 비즈니스에 응용한 사례도 공개하고 있는데, 패션 브랜드인 ‘어번 아웃피터(Urban Outfitters)’는 상품에 태그를 붙이는 과정을 클라우드 오토ML 서비스를 이용해 자동화하고 있음

Ø 어번 아웃피터는 상품에 부여된 태그를 키 값으로 사용해 소비자들에게 제품을 추천하고 있으며, 상품 검색과 제품 필터링에서도 태그가 사용하는데, 이 태깅 작업에 클라우드 오토ML 을 이용해 상품 이미지를 분석하고 제품의 특징량을 추출하고 있음

Ø 가령 옷을 분류할 때 클라우드 오토ML로 만든 알고리즘은 가슴 부위의 형태에 따라 상품을 ‘V-넥’, ‘스쿱(Scoop) 넥’, ‘크루(Crew) 넥’ 등으로 판정하는데, 이는 알고리즘이 디자인 패턴과 목선 등을 키 값으로 태그를 생성할 수 있기 때문

Ø 동물의 생태를 보호하는 활동을 전개하고 있는 국제 환경보호단체 ‘Zoological Society of London(ZSL)’ 역시 클라우드 오토ML을 적극 활용하고 있음

Ø 이 단체는 동물의 생태를 이해하기 위해 서식지에 카메라를 설치하고 동물의 행동을 관찰하고 있는데, 범용 알고리즘이 사진을 보고 동물의 종류를 정확히 판정할 수 없기 때문에 사람이 이 과정에 관여하다 보니 태기 작업에 통상 9개월이 소요되었음

Ø 9개월이 지나고 나면 이미 야생동물의 이동이 크게 이루어지고 난 다음이기 때문에 보호 전략을 세워봐야 무용지물인 경우가 많았고, 밀렵꾼에 대한 대응도 뒷북이기 일쑤였는데, ZSL은 이 과정을 클라우드 오토ML을 이용해 자동화함으로써 문제를 해결하였음

Ø 9개월이 걸리던 태깅 작업을 순식간에, 또한 정확하게 처리할 수 있게 됨에 따라 ZSL은은 효과적인 동물보호 활동을 되었으며, 운영 비용 또한 크게 낮출 수 있게 되었는데, 단체 내에 AI 전문가 없이도 클라우드 오토ML 이용을 통해 이 모든 것이 가능하게 된 것임

ž AI를 만드는 AI의 이용 접근성이 높아짐에 따라 올해는 특정 업무 전용의 고급 AI 개발이 급증할 것으로 예상되며, AI의 개발의 대중화로 획기적인 AI가 출현할 가능성이 높음

Ø 에릭 레이먼드는 1997년 ‘성당과 시장’이란 글을 통해 중세시대 소수 성직자들이 지식을 독점한 것처럼 소수의 프로그래머들 소스코드를 독점해 프로그램을 개발하는 데서 벗어나 시장처럼 여러 사람이 모여 오픈소스로 공동 개발하는 것이 더 우월함을 주장한 바 있음

Ø 구글은 클라우드 오토ML 서비스를 공개하며 ‘AI의 민주화’를 기치로 내걸었는데, 여기에는 누구나 고도의 AI를 용이하게 개발할 수 있는 환경을 제공함으로써 소수가 개발할 때보다 훨씬 획기적인 AI가 개발되는 환경을 조성하겠다는 의미가 내포되어 있음

Ø 물론 구글의 클라우드 오토ML 서비스는 이제 막 시작된 것이고, 현재는 이미지 인식(Convolutional Neural Network) 관련 AI만 개발할 수 있는 한계가 있어 클라우드 오토ML을 통해 만든 신경망이 필요한 수준의 기능을 제공해주지 못할 수 있음

Ø 그러나 향후에는 음성 인식(Recurrent Neural Network) 관련 AI를 개발할 수 있는 기능도 제공될 것으로 예상되며, ‘AI를 개발하는 AI’의 기술이 발전할수록 클라우드 오토ML로 생성하는 신경망은 보다 고도화되며 동시에 보다 만들기 쉬워질 것임

Ø 그 시점이 도래한다면 ‘AI의 민주화’라는 구글의 비전이 현실화될 수 있을 것이며, 현재의 모바일 앱 개발처럼 수 많은 사람이 AI의 개발과 교육에 직접 참여하고 협업하는 과정에서 AI는 질적 도약을 이뤄낼 수 있을 것임

Ø 누구나 자신에게 필요한 AI를 누구나 개발할 수 있는 환경이 도래함에 따라 올해는 업무에 특화된 AI 알고리즘 개발이 확산될 것으로 예상되며, 더 나은 AI가 개발되고 확산되는 과정을 통해 인공지능은 우리 삶에 보다 급격히 접목되어 나갈 수 있을 것임

※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1833호(2018. 2. 14. 발행)에 기고한 원고입니다.

▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1833호(2018. 2. 14. 발행)에 기고한 원고입니다.

▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

인도 연구팀, 딥러닝을 이용해 AI에 &lsquo;풍자&rsquo;를 이해시키는 연구 진행.pdf

ž 인도 파트나(Patna) 공과대학 학장인 Pushpak Bhattacharyya는 딥러닝을 통해 인터넷 상에서 반어적(아이러니) 표현의 의견과 악의적 발언을 검출하는 연구를 진행하고 있음

Ø 부정적 내용을 긍정적인 표현에 담아 우회적으로 전달하는 풍자(Sarcasm) 는 말 그대로의 의미와 속뜻이 다르기 때문에 말하는 사람의 감정이나 상황 맥락을 이해하지 못하는 컴퓨터는 이해할 수 없는 것으로 알려져 왔음

Ø 그러나 Bhattacharyya 교수팀은 대량의 텍스트 데이터를 딥러닝을 통해 분석하고, 말과 의미의 관계성에서 문장에 내포된 풍자를 컴퓨터가 파악하게 하는 연구를 진행 중이며, 자신의 연구팀 외에 언어학자, 심리학자와 공동으로 작업을 진행 중

Ø Bhattacharyya 교수는 풍자나 아이러니 분석 연구가 국가 원수, 정치인, 유명 연예인, 기업 등 세간의 평판을 신경 써야 하는 사람들에게 도움을 줄 수 있을 것이라 말하고 있음

Ø 이들은 주로 글 쓴 사람의 감정 분석을 통해 트위터와 같은 소셜 미디어에서 자신들의 평판을 체크하고 있는데, Bhattacharyya에 따르면 풍자야말로 사람의 감정의 움직임을 명확히 보여 줌에도 기존의 감정 분석 기법은 이를 제대로 이해하지 못하는 문제가 있음

ž Bhattacharyya 교수에 따르면 딥러닝을 이용해 새로 설계한 자신의 알고리즘이 기존 감정 분석 방식보다 3배 가량 정확하게 풍자를 감지해 낼 수 있었다고 함

Ø Bhattacharyya 교수의 조사에 따르면, ‘배터리가 2시간이나 버텼네, 멋지군’ 등과 같이 풍자나 아이러니를 담고 있는 트윗 중 약 20%는 숫자를 포함하고 있는데, 이런 문장들에서 일반적인 감정 분석 기법은 발화자의 원래 의도를 잘 캐치하지 못한다고 함

Ø 본래 비꼬는 말투를 알아차리려면 문맥을 이해할 수 있어야 하는데, Bhattacharyya 교수는 ‘모순된 표현이나 생경한 감정 표현이 풍자의 특징’이라며, 기존의 감정 분석 기법은 일반적 패턴과 다른 표현이 이어지는 것 때문에 본뜻을 이해하지 못하다고 설명

Ø 문제 해결을 위해 Bhattacharyya 교수는 말이나 표현의 불일치를 검출하는 알고리즘을 설계했으며, 딥러닝을 구성하고 학습시킬 수 있는 라이브러리인 CuDNN에 고속화된 텐서플로우(TensorFlow) 프레임워크를 도입하고, 엔비디어의 GPU를 이용한 신경망을 구축하였음

Ø 그 다음 대량의 트윗, 영화 평론, 1990년대 인기 시트콤 프렌즈의 대사 등 대량의 텍스트 데이터를 준비해 딥러닝을 이용한 데이터 분석을 실시하였음

Ø 분석 결과 Bhattacharyya 교수가 설계한 알고리즘은 기존 방식보다 정확하게 풍자나 아이러니를 감지 할 수 있었으며, 특히 숫자를 포함한 트윗에 대해서는 기존 감정 분석 기법보다 약 3배 가량 높은 80%의 정확도로 풍자를 이해할 수 있었다고 함