※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1855호(2018. 7. 18. 발행)에 기고한 원고입니다.


▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

오픈AI, 위화감 없이 두 얼굴을 합성해 주는 ‘글로우’ 기술 발표.pdf



인공지능 관련 비영리 연구기관으로 설립된 오픈AI(OpenAI)’는 위화감 없이 두 얼굴 사진을 합성할 수 있는 기술인 ‘Glow(글로우)’를 발표


오픈AI의 연구원인 프라풀라 다리왈과 더크 킹마에 의해 개발된 글로우는 가역 1×1 중첩(invertible 1x1 convolutions)’ 기술을 이용하는 이미지 생성 인공지능임


글로우는 두 사진을 합성할뿐더러 합성의 정도를 조절할 수 있는데, 가령 왼쪽 입력 창에 천체 물리학자 닐 디그래스 타이슨의 얼굴을 넣고, 오른쪽 입력 i창에 여배우 라시다 리 존스의 얼굴을 넣은 뒤 어느 쪽을 많이 반영할 것인지 조작할 수 있음


Glow: Better Reversible Generative Models

(클릭하면 링크 사이트에서 두 얼굴 합성을 체험해 볼 수 있습니다)


합성 창의 MIX 버튼 위치를 중앙 위치로 설정하면 두 사진 이미지를 균일하게 합성하게 되는데, 결과는 실재 인물일 것 같은 자연스러운 남성의 얼굴이 생성됨


MIX 조절 버튼을 왼쪽으로 옮기게 되면 결과 값은 왼쪽 입력 창에 있는 디그래스 타이슨의 특징이 더 강하게 반영하지만, 이 역시 MIX가 중앙일 때 나온 것과 마찬가지로 상당히 자연스러운 느낌을 줌


MIX 조절 버튼을 오른쪽으로 옮기면 당연히 리 존스의 얼굴 특징이 더 많이 반영되며, 결과 값은 약간 중성적 느낌이 나는 여성의 사진을 생성함


오픈AI는 글로우를 더 나은 가역적 생성 모델(better reversible generative model)'이라 설명하고 있는데, 한쪽 이미지와 다른 한쪽의 이미지 사이를 쉽게 오가며 다양한 합성 이미지를 생성할 수 있다는 뜻을 담고 있음

 

<자료> OpenAI Blog

[그림 1] 글로우를 이용한 두 사진의 다양한 합성

 

글로우는 얼굴 사진의 합성 외에도 사진에 나이, 수염, 미소등의 속성을 추가하여 이미지를 자연스럽게 변화시키는 기능도 제공함


<자료> Fast Company

[그림 2] 얼굴 속성 값의 변화


글로우는 학습한 이미지를 토대로 자동으로 레이블을 붙일 수 있는 것도 특징인데, 데모용으로 준비된 3만 명의 얼굴 사진을 학습시키면 자동으로 미소, 나이, 가는 눈, 금발, 수염등의 레이블을 설정함


자동으로 설정된 레이블은 나중에 자유롭게 조작할 수 있으며, 새로 입력된 이미지에 속성 변화를 추가할 수 있음


가령 왼쪽 입력 창에 유명 AI 연구자인 제프리 힌튼의 얼굴 사진을 세팅하고, ‘웃음-나이-금발-턱수염등의 속성 값을 최대로 하고, ‘가는 눈속성 값을 최대로 하면(눈 크게 뜨기 설정), 오른쪽의 출력 창에 설정을 반영한 변경된 사진이 생성됨


수염이 검은 것이 약간의 위화감을 주기는 하지만, 실재한다고 해도 이상하지 않은 남성의 얼굴이 생성되며 AI가 독자적으로 판단해 만들어 낸 것 같은 느낌은 주지 않음


오픈AI는 글로우를 깃허브(GitHub)에 공개해 누구나 자유롭게 사용해 보도록 하고 있음(https://github.com/openai/glow)


글로우를 동작시키기 위해는 기계학습 오픈소스 라이브러리인 텐서플로우(TensorFlow)와 우버가 만든 텐서플로우용 오픈소스 분산 딥러닝 프레임워크인 호로보드(Horovod)가 필요하며, 구체적인 조작 방법 등은 글로우 문서에 설명되어 있음


문서는 https://d4mucfpksywv.cloudfront.net/research-covers/glow/paper/glow.pdf에서 다운로드 받을 수 있음


두 연구원은 한 사진에서 다른 사진으로 넘어가는 도중의 변환 이미지 완성도에 대해 부자연스러운 합성이 보인다, 보다 자연스러운 변화를 주기 위해 자동회귀모형(autoregressive model)VAE 기법을 사용해 개선하고 싶다는 뜻을 밝히고 있음


VAE(Variational Autoencode, 변동 자동 인코딩)는 딥러닝 모델 중 하나로, 학습 데이터를 바탕으로 그 특징을 파악하여 학습한 데이터 세트와 비슷한 데이터를 생성할 수 있음


※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1854호(2018. 7. 11. 발행)에 기고한 원고입니다.


▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

AI 산업의 확대가 AI 민족주의의 흐름을 만들어 낼 가능성.pdf



캠브리지 대학에서 인공지능(AI)을 연구하는 이안 호가드 교수는 AI 산업의 발전이 ‘AI 내셔널리즘이라는 새로운 흐름을 만들어 낼 것이라는 의견을 개진


호가드는 AI의 급속한 발전이 새로운 종류의 지정학이 등장하도록 촉진할 것으로 생각하고 있는데, 이를 ‘AI 민족주의(nationalism)’로 명명


AI 기술은 산업 및 군사, 사회 체제 등 여러 측면에 관련된 기술이기 때문에 국가 간 AI 기술의 차이가 새로운 격차를 만들어 낼 것이고, 이는 언젠가 석유 수출국과 석유 수입국 같은 지정학적 요소 중 하나가 될 것이란 예측


그는 AI 기술이 이미지 인식, 기계번역, 바둑, 예술 등 다방면에서 인간의 상상을 웃도는 속도로 발전하고 있으며, 기초연구 분야뿐만 아니라 이미 비즈니스 분야에서도 성과를 거두고 있기 때문에 AI가 새로운 지정학적 요소가 되는 것은 시간문제로 보고 있음


호가드는 AI가 국가에 영향을 미칠 것인가?’라는 의문을 제기하며, 그에 대한 답으로 AI가 국가 경제, 군사기술, 과학기술 연구에 적용되기 때문이란 설명을 내놓고 있음


AI가 내셔널리즘에 연결될 수 있는 첫 번째 이유는 AI의 상용화 서비스가 많은 일자리를 창출할 수도 있지만 기존 일자리를 박탈할 가능성이 있다는 것으로, AI 활용 여하에 따라 한 국가는 경제에 타격을 입을 수도 반대로 경제적 이점을 얻을 수도 있음


두 번째 이유는 AI가 군사 목적으로 전용이 가능한 기술이며, 반자동 무기와 자율 무기를 가능하게 한다는 점으로, 군 주도로 AI에 적극적인 투자를 해나가는 국가가 군사적 패권을 획득할 가능성이 있음


세 번째 이유는 AI의 활용이 과학 연구 기간을 전반적으로 크게 단축 할 수 있다는 것으로, 과학연구에 AI를 적극적으로 활용하는 국가는 다른 나라에 비해 압도적인 과학기술을 손에 넣을 가능성이 있음


또한 거대 AI 기업인 구글, 애플, 아마존, 페이스북, 바이두, 텐센트, 알리바바 등이 모두 미국과 중국, 두 나라에 집중되어 있다는 점도 AI 민족주의 대두의 요인으로 보고 있음


물론 AI 산업에는 아주 거대한 비국가적 주체가 존재하고 있고, 국가와 기업 간의 상호작용이 복잡해지고 있어 기업에 대한 국가의 개입 양상이 단순하지 않을 가능성도 있음


가령 최근 구글이 직원들의 비판에 직면해, ‘AI 기술이 무기 개발에 사용되지 않도록 하겠다고 선언한 데서 보듯, 정부와 기업 간의 관계에서 이제는 기업이 아주 강력한 힘을 갖기 시작했고 전통적 관계가 차츰 무너지는 양상도 나타나고 있기 때문


그러나 중국은 AI 산업에 대해 국가가 일일이 관여해 힘을 쏟겠다는 입장이며 향후 더욱 더 자국의 AI 산업을 발전시켜 나가겠다는 뜻을 밝히고 있는데, 이런 움직임이 미국은 물론 다른 국가의 AI 민족주의를 촉발할 가능성이 있음


실제 중국은 자국 산업 보호를 위한 여러 규제를 마련해 왔으며, 정부가 기업에 대해 적극적으로 개입한 결과 중국이 AI 산업에서 미국과 경쟁할 수 있는 유일한 국가로 자리매김할 수 있게 된 것도 어느 정도는 사실임


미국에서도 전통적으로 정부와 군이 연구에 많은 자금을 제공하고, 민간 기업은 정부의 지원을 받아 연구를 수행하며 제품을 만드는 구조가 형성되어 왔기 때문에, 중국처럼 미국 정부도 AI 기업에 간접적으로 영향력을 행사할 수 있는 길은 많이 있음


호가드는 최근 글로벌 반도체 산업에서 벌어진 일련의 사건들이 미-중 간의 AI 내셔널리즘이 표출될 가능성을 시사하는 것으로 분석하고 있음


중국은 2030년까지 AI 분야의 세계적인 리더가 된다는 야심찬 목표를 내걸고 있으며, 정부가 수집한 자국민 관련 빅데이터를 기업이 손쉽게 AI 개발에 활용할 수 있게 하고 있고, 우수 연구자를 좋은 대우로 중국 연구시설에 적극 영입하는 시스템도 갖추고 있음


호가드가 보기에 중국이 이 목표를 달성하는데 있어 안고 있는 치명적인 약점은 반도체인데, 미국, 한국, 대만 등 반도체 분야 선두 국가와 비교하면 중국의 반도체 산업과 기술 수준은 그리 뛰어나지 않기 때문


<자료> IEK

[그림 1] 2017년 중국과 미국의 반도체 산업 비교


따라서 미국과 중국 사이에 있는 한국과 대만은 반도체를 둘러싼 지정학적 리스크에 노출될 가능성이 높은데, 이런 예측을 뒷받침하듯 실제 최근 중국이 한국의 반도체 기업 인수에 적극 나서고 있다는 소식이 연이어 보도되기도 하였음


한편 미국도 반도체 분야에서 중국에 비해 우위를 점하고 있음을 알기 때문에, 올해 2월 싱가포르에 본사를 둔 반도체 기업 브로드컴이 퀄컴을 적대적 M&A 할 것이라 선언했을 때 대통령령에 의해 인수를 저지하는 등 적극적 개입을 단행한 바 있음


◾ AI 산업의 선두 기업들이 모두 글로벌 비즈니스를 전개하고 있지만, 이들 기업의 본사가 소재하는 국가가 큰 재정 혜택을 받는다는 점도 AI 민족주의를 강화할 요인이 될 수 있음


미국과 중국의 AI 산업 최고 기업들을 전세계에서 수익을 벌어들이고 있지만, 이 수익에 대해 부과되는 세금의 대부분은 본사가 있는 미국과 중국에만 납부되고 있음


<자료> Financial Times

[그림 2] 2016년 미국 주요 IT 기업의 국내외 세율



이러한 불평등한 이익의 재분배AI 산업의 발달이 지정학적 리스크를 증가시키는 요인으로 작용할 수 있음


AI 기업의 본사 소재 국가가 큰 경제적 이익을 가져가는 이상, 기업에 대한 국가의 의존이 커질 수밖에 없고, 이는 국가가 자국 AI 기업의 비즈니스가 확장되도록 전폭적인 지원을 하게 함으로써 새로운 형태의 내셔널리즘을 일으킬 가능성이 있기 때문임


지난 6월에 중국의 IT 벤처기업인 클라우드워크 테크놀로지(CloudWalk Technology)는 짐바브웨 정부와 협력을 발표하며, 짐바브웨의 인프라에 보안 설계를 수행하는 대가로 흑인의 얼굴 데이터를 수집할 수 있도록 허가를 받았음


호가드 교수는 이러한 중국의 해외 전략은 AI 패권주의로 읽힐 수 있기 때문에 미국은 자국 AI 산업을 보호하려는 움직임을 강화할 것으로 예상하고 있으며, 구글과 아마존 등 자국 기업에 대해 미국 정부가 독점금지 조치를 내리지 않을 것이라 보고 있음


이런 상황을 기업들도 잘 알고 있어 적절히 이용할 것으로 보이는데, 사용자 데이터 유출 문제로 곤경에 처한 마크 저커버그는 청문회에서 페이스북을 제재하게 되면 중국 기업의 도약을 도와주는 꼴이라는 답변 메모를 준비해 논란이 되기도 하였음


◾ 호가드 교수는 AI 민족주의가 형성되는 흐름을 막을 수는 없지만, 그 위험성을 해소하기 위한 방안으로 AI를 ‘글로벌 공공재’로 자리매김하는 논의의 필요성을 역설하고 있음 


호가드의 추정에 따르면 AI의 발전은 세계 인구에 비해 매우 적은 인력에 의해 추진되고 있는데, AI 연구의 첨단에 기여하는 연구자는 전세계적으로 700명 정도임


또한 7만 명 정도가 AI 기술을 이해하고 비즈니스에 활용하여 큰 이익을 창출하는데 적극적으로 움직이고 있으며, 나머지 70억 명이 AI에 의한 이익을 누리는 입장에 있음


이는 원자 폭탄의 경우와 유사한데, 맨해튼 프로젝트에 종사한 과학자의 수에 비해 원자 폭탄은 너무 많은 사람들에 영향을 미쳤고 세계정세에도 크게 관여하는 결과를 낳았음


호가드는 맨해튼 프로젝트의 주역인 오펜하이머와 페르미 등을 거론하며, 재능 있는 AI 연구자의 존재가 국제 정세를 위협할 결과를 가져올 수 있음을 지적하고 있음


내셔널리즘이 지나치면 세상에 악영향을 미칠 수 있기 때문에 호가드는 어느 정도 민족주의적 움직임이 가시화되고 난 후에는 AI글로벌 공공재가 되는 흐름이 차근히 형성되어 가기를 희망하고 있음


그런 시도 중의 하나가 '오픈AI(OpenAI)' 같은 비영리 AI 연구 단체인데, AI가 국가간 격차를 더 만들어 내기 전에 장기적으로 어떻게 AI 산업을 발전시키는 것이 이상적인가에 대해 진지한 논의를 할 필요가 있다고 호가드는 제안하고 있음


▸ 또한 AI가 글로벌 공공재로 다뤄지기 위해서는 미국과 중국만 AI 산업의 파이를 계속해서 차지하는 것이 아니라, 영국, 싱가포르, 캐나다 등 다른 국가들이 AI 산업 내 발언권을 높여나갈 필요가 있다고 보고 있음

※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1823호(2017. 11. 22. 발행)에 기고한 원고입니다.


▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

현실 같은 가짜를 상상으로 만들어 내는 새로운 인공지능 &lsquo;GAN&rsquo;.pdf



[ 요 약 ]


엔비디아의 연구팀은 신경망이 유명 연예인(celebrity, 셀럽)의 이미지를 생성하는 기술을 공개했는데생성된 이미지는 실제 인물에 기반을 둔 것이 아니라 인공지능(AI)이 유명인의 개념을 이해하고 상상으로 그린 ​​것이며유명인 이외에도 모든 객체의 개념을 이해한 후 사람의 개입 없이 AI가 실제와 똑같이 그려낼 수 있음을 보여주었음생성적 대립쌍 신경망(Generative Adversarial Network, GAN)이라 불리는 이 기술은 2014년 처음 등장한 이래 가장 주목 받는 AI 연구 주제로 부상하였음



[ 본 문 ] 


ž 최근 인공지능(AI) 컴퓨팅 분야 연구에 적극 나서고 있는 엔비디아(Nvidia)GTC 유럽 2017 컨퍼런스에서 딥러닝 기반 응용프로그램 빈센트(Vincent) AI의 공개 시연을 진행


Ø 빈센트 AI는 이용자가 스타일러스 입력 펜을 사용해 간단히 스케치한 그림을 실시간으로 유화나 네온 색상의 팝아트 등 7가지 예술작품 스타일로 변환시켜 주는 응용프로그램으로 캠브리지 컨설턴트(Cambridge Consultants)라는 기업이 엔비디아 기술을 이용해 제작한 것임


<자료> NVIDA


[그림 1] 빈센트 AI로 변환시킨 스케치


Ø 엔비디아의 젠슨 황 CEO는 기조연설 도중 무대에서 내려와 스타일러스를 직접 들고 엔비디아 로고와 사람의 얼굴을 그렸으며, 이것이 실시간으로 피카소 풍의 그림으로 변환되자 컨퍼런스에 참석한 청중들의 박수가 터져 나왔음.


Ø 캠브리지 컨설턴트의 AI 연구소인 디지털 그린하우스(Digital Greenhouse)에서 5명으로 구성된 연구팀은 두 달 만에 빈센트 AI의 데모를 구현할 수 있었는데, 이번 데모는 엔비디아의 딥러닝 전용 수퍼컴퓨터인 DGX 시스템에서 트레이닝을 거쳐 구현되었음


Ø 기존의 딥러닝 알고리즘이 방대한 양의 데이터를 소화할 수 있게 됨으로써 놀라운 성과를 달성했다며, 빈센트 AI에 적용된 인공지능 기법은 두 개의 신경망을 이용해 이전에 비해 훨씬 더 적은 표본으로도 응용프로그램을 생성할 수 있었다는 점에서 주목받고 있음


Ø 엔비디아 측에 따르면, 알파고의 등장에 많은 바둑 기사들이 호응을 보인 것처럼 의외로 많은 예술가들이 빈센트 AI 에 상당한 호감을 보이고 있으며, 빈센트 AI를 통해 예술이 무엇인지, 예술에 대한 자신들의 지식이 어느 정도인지 알게 될 것이라 기대하고 있다고 함


ž 빈센트 AI의 놀라운 이미지 전환 기술 뒤에는 정밀한 튜닝 작업을 거친 GAN(Generative Adversarial Network), 생성적 대립쌍 신경망이라는 최신 AI 기술이 자리하고 있음


Ø 비영리 인공지능 연구단체인 오픈AI의 컴퓨터 과학자인 이언 굿펠로우가 창안한 (GAN) 기술은 최근 인공지능 기반 이미지 전환기술로 크게 각광받고 있으며, 굿펠로우는 연구 논문 발표 후 구글의 인공지능 연구부서인 구글 브레인으로 자리를 옮겨 연구를 지속하고 있음


Ø 이언 굿펠로우에 의해 2014년에 처음 등장한 이 기법과 관련한 논문 수가 기하급수적으로 증가해서 최근에는 190편 이상이 학계에 보고되고 있는데, 페이스북의 AI 연구를 이끌고 있는 얀 르쿤 교수는 갠(GAN)을 가장 중요한 기술로 꼽고 있음


Ø 갠 신경망은 대립쌍을 이루는(Adversarial) 두 개의 네트워크를 만들고, 상호 대립 과정에서 훈련 목표를 자동으로 생성하도록 학습시키는 모델임


Ø 통상 기계학습이 사람이 태그를 달아주는 방식으로 학습결과가 맞았는지 확인해주는 데 반해 갠 기법은 사람의 개입 없이 컴퓨터가 스스로 목표 이미지와 비교해서 생성한 이미지를 반복해서 평가하고 수정하는 과정 속에서 데이터 자체에서 지식을 얻는 비지도 학습형 알고리즘임



Ø 최근 이미지 구별이나 음성 인식 등에 활용되는 인공지능 기술인 CNN이나 RNN지도 학습형 알고리즘으로 이미지나 음성을 구별하고 인식할 뿐 만들어 내지는 못하는데, GAN은 생성 모델을 통해 직접 이미지와 음성을 만들어 낸다는 것이 큰 차이점임


Ø 엔비디아의 연구팀이 개발한 기술 역시 GAN을 이용한 것으로, 엔비디아는 논문을 통해 신경망이 유명인(celebrity, 셀럽)의 이미지를 자동으로 생성하는 기술을 공개했는데, 이 이미지는 실제 사람이 아닌 AI유명인이라는 개념을 이해하고 상상으로 생성해 낸 것임


<자료> Karras et al.


[그림 2] GAN이 생성한 유명인 이미지


Ø GAN으로 그린 가상의 유명인은 어디선가 본 듯한 것처럼 보이지만 실존 인물은 아니며, 구글에서 이미지 검색을 해도 해당 인물이 발견되지는 않는데, 한마디로 GAN은 진짜 같은 가짜를 생성해 내는 기술이라고도 할 수 있음


Ø 엔비디아가 발표한 논문은 GAN이 유명 연예인 외에도 침실, 화분, , 소파, 버스 등의 객체를 AI가 개념만 듣고 현실과 똑같이 그려낼 수 있음을 보여주고 있음


ž 생성적 대립쌍이라는 명칭이 붙은 이유는, GAN이 서로 경쟁하는 두 개의 신경망(dueling neural network) 구조를 통해 성능을 개선하고 딥러닝 모델을 진화시키기 때문


Ø GAN의 구조는 일반적으로 감식자(Discriminator)생성자(Generator)라는 두 개 층의 신경망으로 구성되는데, 양 측이 서로 충돌하면서 발생하는 차이점을 수정해 나가며 궁극의 균형점, 즉 진짜 같은 가짜의 생성에 이르게 됨



Ø 생성 네트워크는 진짜와 똑 같은 가짜 이미지를 생성하는 역할을 담당하는데, 생성자에 노이즈(랜덤 신호)가 입력되면 이를 토대로 가짜 이미지를 생성함


Ø 감식자는 입력된 데이터가 진짜인지 가짜인지를 판정하는데, 생성자가 만들어 낸 가짜(Fake) 이미지와 샘플 데이터세트에서 추출된 실제(Real) 이미지가 감식자에 입력되면 Fake 또는 Real 여부를 판정하게 됨


Ø 이 방식은 게임이론 중 내쉬 균형(Nash Equilibrium), 즉 합리적 판단을 하는 상호 간의 게임이론에 따라 수학적으로 균형점을 찾는다는 이론이 적용된 것임


Ø 한 마디로 GAN은 생성자와 감식자가 대치하며, 매우 성공적인 가짜를 생성해내는 인공지능 기술이라 정의할 수 있음


<자료> Anton Karazeev


[그림 3] 대립쌍을 이루는 GAN의 작동 프로세스


ž GAN의 개념을 주창한 이언 굿펠로우는 대립쌍을 설명하면서 생성자와 감식자의 관계를 위조 지폐범과 경찰의 대결로 비유하였음


Ø 화폐 위조범(생성자 G)이 새로운 위폐를 만들어내면 경찰이나 은행원(감식자 D)은 이를 간파해야 하고, 위조범들이 이를 피하기 위해 더 그럴 듯한 위조 지폐를 만들면 경찰관들도 동시에 감식 기술을 향상시키는데, 이 과정을 통해 위조 화폐가 더욱 정교해진다는 것


Ø 즉 위폐범의 위조 기술과 경찰의 감식 기술이 서로를 자극하면서 발전을 거듭하면, 결국 위조화폐는 진짜 화폐와 같은 수준의 내쉬 균형점에 이르게 된다는 것으로, 현실에서는 감식자가 위폐범을 이겨야 하나 GAN에서는 위폐범의 승리가 목표임


Ø 이언 굿펠로우는 대립쌍을 설명하면서 수학 같이 명확한 답이 없지만 확률적으로 목표와 근사한 지를 끊임없이 확인하면서 이미지를 변환해 가면 결국엔 위폐일 확률과 진짜일 화폐일 확률이 각기 0.5가 된다고 표현하였음


Ø 인간과 AI가 대결과 공존을 해야 하는 시대에 인간이 우위를 점할 수 있는 영역으로 흔히 창의성과 예술 분야가 거론되지만, 알파고 등장에서 보듯 현실은 창의성에서도 AI의 우월성이 드러나는데, 위폐범의 승리를 목표로 하는 GAN 같은 기술의 등장이 그 원인이라 할 수 있음


ž 이처럼 GAN은 매우 성공적인 가짜를 생성할 수 있으나 기술적으로 몇 가지 과제가 있었는데, 엔비디아는 특수 구조를 개발하여 과제를 해결해 가고 있음


Ø GAN의 과제는 알고리즘의 교육에 장시간 연산이 필요하다는 점과 알고리즘의 작동이 불안정하다는 점이었는데, 엔비디아는 서서히 이미지의 해상도를 높여 나가는 구조의 네트워크를 개발하여 문제를 해결하였음



Ø 엔비디아가 개발한 GAN의 특징은 학습 초기 단계에서는 낮은 해상도(4×4)의 네트워크를 사용하고, 학습이 진행되면서 점차 해상도를 올려 최종적으로 고해상도(1024×1024)의 네트워크를 사용해 선명한 이미지를 생성한다는 점

Ø 엔비디아의 GAN이 순차적으로 생성한 이미지와 생성에 소요된 시간을 살펴보면, GAN에 학습을 시작한 지 4시간 33분이 경과한 시점에 저해상도(16×16)의 이미지가 생성되어 사람으로 보이는 듯한 형상이 나타났음


Ø 1 6시간이 경과한 시점에서 나타난 중간 해상도(64×64)의 이미지에서는 얼굴 윤곽이 뚜렷해졌으며, 5 12시간이 경과한 시점에 나타난 고해상도(256×256) 이미지에서는 인물이 부드럽게 그려져 있지만 세부적으로 보면 군데군데 일그러진 곳이 있음


Ø 19 4시간이 경과한 시점에 나타난 초고해상도(1024×1024) 이미지에서는 리얼한 인물이 완성되는데, 이처럼 엔비디아의 GAN은 감식자(Discriminator)의 스킬을 검증하면서 서서히 해상도를 올려나가는 방식을 통해 알고리즘 교육 시간을 약 20일로 단축하였음


<자료> Karras et al.


[그림 4] 점증적으로 해상도를 높여 나가는 엔비디아의 GAN


ž 엔비디아가 GAN의 성능을 개선했지만, 고해상도의 이미지를 생성하려면 대규모 컴퓨팅 리소스를 필요로 하는 등 아직 연구를 통해 개선해야 할 것들이 많이 남아 있음


Ø GAN에서 선명한 이미지를 생성하기 위해서는 대규모 컴퓨팅 자원이 필요한데, 엔비디아의 경우 이 연구를 위해 NVIDIA Tesla P100 GPU(4.7 TFLOPS)를 사용하였음


Ø GAN의 알고리즘 학습에는 약 20일 정도가 걸렸는데, 많이 개선된 것이지만 고해상도의 이미지를 생성하려면 여전히 많은 처리 시간이 필요하며, 결국 완벽한 가짜 이미지 생성에 아직까지는 많은 비용이 소요됨을 의미함


Ø 또한 GAN으로 그려낼 수 있는 대상은 GAN이 학습을 마친 분야로 제한되기 때문에 현재는 유명 연예인 등 일부에 한정되는데, GAN의 교육 시간을 상당히 단축시키거나 혹은 폭넓은 분야를 커버하게 하려면 추가 연구가 필요한 상황임


ž GAN은 양날의 검이 될 위험성이 존재하지만, 현재 AI 기술 개발의 가장 큰 걸림돌을 해결할 단서가 될 수 있다는 점에서 AI 분야의 큰 돌파구가 될 수 있는 연구 주제임


Ø GAN은 현재 딥러닝이 안고 있는 많은 문제를 해결할 수 있는 비장의 카드가 될 가능성이 있는데, 비지도 학습(Unsupervised Learning)과 라벨이 없는 데이터(태그 없는 교육 자료) 분야의 연구를 크게 진전시킬 단서가 될 것으로 전망되고 있기 때문


Ø 이는 현재 AI 개발의 가장 큰 걸림돌이 되고 있는 문제, 즉 알고리즘을 교육하기 위해 대량의 태그 데이터가 필요하다는 문제의 해결책이 될 수 있음을 의미하며 이것이 개발자들이 GAN에 주목하는 가장 큰 이유임


Ø 반면 GAN에 대한 우려도 그만큼 크게 대두되고 있는데, GAN이 가상으로 그려낸 이미지는 사진 촬영을 한 연예인이라 해도 의심의 여지가 없으며, 실제와 똑 같은 가짜 앞에서 양자의 진위를 판정할 수 있는 사람은 아무도 없음


Ø 소셜 미디어에서 가짜 뉴스가 문제가 되고 있지만 GAN의 등장으로 이제는 가짜 사진이 사태를 더욱 복잡하게 할 가능성이 커졌으며, 인스타그램에 올라오는 사진들 역시 GAN이 만들어 낼 시대가 도래하고 있음


Ø 전문가들이라고 이런 문제를 비껴나갈 수 있는 것은 아니어서, 천문학자들은 이제 우주의 이미지를 직접 우주 공간에 나가서 사진 찍듯이 그려내고 있으며, 화산 폭발 장면을 실감나는 사진으로 표현하고 있음


Ø 또한 인체의 DNA가 어떻게 작동하는지 또 단백질이 어떻게 반응하는지를 직접 촬영한 사진처럼 표현하기도 하는데, 그럴듯한 이미지들과 함께 이런저런 학술이론을 제시하면 한마디 반박조차 못하고 감쪽같이 설득 당할 수밖에 없음


Ø GAN 의 등장은 현실과 가상현실 사이에서 진위의 구분이 무의미해지는 시대의 도래를 시사하며, 양날의 검이 될 수 있는 GAN의 활용 범위와 방안을 놓고 AI 개발자 커뮤니티뿐 아니라 일반인 사이에서도 다양한 논쟁이 벌어질 것으로 보임