Search

※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1792호(2017. 4. 19 발행)에 기고한 원고입니다. 


▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

화가와 인공지능의 패스티쉬 대결 예술로 가는 AI.pdf



[ 요 약 ]


빈센트 반 고흐의 일생을 고흐의 화풍으로 그린 6 5천장의 유화 작품으로 구성한 독특한 장편 애니메이션 러빙 빈센트에는 고흐 풍의 유화 제작을 위해 115명의 화가들이 참여하였음한편 영화 제작 기간 동안 구글은 인공지능(AI)이 특정 화가의 스타일을 습득한 다음 주어진 사진을 그 화가의 화풍으로 그린 그림으로 변환해 주는 기술을 발표하였음. AI를 이용한 패스티쉬(작품 모방)가 가능해짐에 따라 향후 인간과 AI의 협업을 통한 새로운 사업기회 모색이 활발히 전개될 전망


[ 본 문 ]


ž 영국의 영화사 브레이크스루(BreakThru Productions)는 최근 2011년부터 100여 명의 화가와 함께 작업해 온 장편 유화 애니메이션 러빙 빈센트(Loving Vincent)의 예고편을 공개


<자료> BreakThru

[동영상] 러빙 빈센트 공식 예고편


Ø 러빙 빈센트는 빈센트 반 고흐가 그린 작품과 함께 그의 작품 속 인물들과 가상 인터뷰를 통해 고흐의 삶과 인생을 내레이션 하는 애니메이션 영화로 반 고흐가 죽기 전 8년간의 인생에 초점을 두고 있다고 함


Ø 러빙 빈센트는 개봉 전부터 많은 관심을 받고 있는데, 세계 최초로 영화와 예고편 영상의 러닝타임에 등장하는 모든 프레임을 고흐 스타일의 유화 작품으로 구성했기 때문


Ø 영화 제작사는 화가로서 인생을 산 10년 동안 일주일에 약 두 점씩, 860여 점의 그림을 그리며 불꽃 같은 삶을 살다 간 빈센트 반 고흐의 삶을 고스란히 전달하기 위해 고흐 풍의 유화 애니메이션 영화를 만들게 되었다고 설명


Ø 영화의 프레임에 사용된 유화는 6 5천 점으로 영상 1초에 12점의 그림이 연사 된다고 하는데, 이를 위해 2011년부터 115 명의 화가가 유화 작업에 참여했다고 함



<자료> Hugh Welchman


[그림 1] 러빙 빈센트의 프레임 작화 방법


Ø 영화의 제작 방식은 배우의 연기를 카메라로 촬영한 다음 각 장면을 화가들이 유화로 그리는 것인데, 이를 위해 화가들은 고흐의 작품 스타일을 학습한 후 동영상의 프레임을 고흐 풍으로 모사하였음


Ø 가령 영화 속 고흐의 모습은 [그림 1]에서 보듯 고흐 역을 맡은 폴란드의 배우 로버트 굴락칙을 그린 유화로 표현되는데, 이 때 유화의 스타일은 고흐의 작품 자화상에 사용된 붓 터치 방식을 모방한 것임


ž 한편 영화의 제작이 한창이던 2015 9월 흥미롭게도 구글은 인공지능(AI)이 화가의 작품 스타일을 습득하고, 주어진 사진을 화가의 화풍을 따른 그림으로 변환하는 기술을 발표


Ø 영화 러빙 빈센트가 카메라로 촬영한 장면을 작가들이 고흐의 화풍을 모방하여 그린 것처럼, 구글은 인공지능을 대상으로 고흐의 스타일을 학습시킨 후 입력된 사진을 보고 이를 고흐 화풍의 유화로 변환하게 하는 기술을 개발한 것임


Ø 포스트 모더니즘의 대표적인 기법인 패스티쉬(Pastiche)는 패러디와 달리 비판하거나 풍자하려는 의도 없이 기존의 텍스트를 무작위적으로 모방하는 것을 말하는데, 영화 러빙 빈센트가 패스티쉬 기법으로 만들어진 것이라면, 구글은 인공지능 패스티쉬 기술을 개발했다 할 수 있음


Ø 구글은 회화를 패스티쉬 하는 심층 신경망(Deep Neural Network)의 연구개발 성과를 예술 스타일의 신경 알고리즘(A Neural Algorithm of Artistic Style)이라는 제목의 논문으로 발표하였음


Ø 발표 직후 이 짧은 논문은 개발자들은 물론 기술을 잘 모르는 일반인들에게도 관심을 불러 일으켰는데, 개발자 커뮤니티인 깃허브 등에서는 논문의 실효성 검증을 위한 프로젝트들이 만들어졌으며, 실험 결과 사진의 내용은 보존한 채 질감만 바꿔 출력할 수 있음이 검증되었음


ž 구글의 심층 신경망에 사진을 입력하면 여러 가지 스타일의 그림, 즉 유명 화가 여러 명의 화풍을 모방한 여러 장의 그림들로 변환해 줌


Ø [그림 2]에서 보듯 상단 왼쪽의 사진을 입력하면 윌리엄 터너의 The Shipwreck of the Minotaur(미노타우르스호의 난파)' 스타일, 반 고흐의 The Starry Night(별이 빛나는 밤) 스타일, 에드바르트 뭉크의 The Scream(비명) 스타일, 파블로 피카소의 Seated Nude(앉아있는 나부) 스타일, 바실리 칸딘스키의 Composition (구성 Ⅶ)’ 스타일의 그림으로 사진을 재구성함



<자료> A Neural Algorithm of Artistic Style


[그림 2] 사진을 5개 화풍을 따른 그림으로 변환


Ø 심층 신경망은 Convolutional Neural Network(CNN, 나선형 신경망, 이미지 인식 기능)을 사용하고 있는데, 하나의 신경망이 두 가지 기능을 가지고 있어 입력된 사진을 변환하는 동시에 화가의 작품 스타일을 학습함


Ø CNN은 각각의 레이어가 특징 량(feature)을 가진다고 보며, 이 특징 량들이 계층적(hierarchy)으로 쌓이면서 더 높은 레이어로 갈수록 더 좋은 특징 량을 만들어 낸다고 보기 때문에, 일반적으로 이미지 인식에서 월등한 성능을 낸다고 알려져 있음


Ø [그림 3]은 CNN에서 서로 다른 두 가지 방법으로 스타일과 콘텐츠를 레이어 별로 재구성 하는 것을 보여주는데, 위쪽은 고흐의 별이 빛나는 밤 스타일을 레이어 별로 재구성 한 것이고, 아래쪽은 튀빙겐에서 찍은 사진의 콘텐츠를 레이어 별로 재구성 한 것임


Ø 스타일 재구성에서 알 수 있는 것은 레이어가 얕을수록 원래 콘텐츠 정보는 거의 무시하고 질감(texture)을 복원하는 반면 깊은 레이어로 갈수록 점점 원래 콘텐츠 정보가 포함된다는 것으로, 현격한 특징 량을 추출하여 회화의 터치 등 화가의 스타일을 파악함


Ø 콘텐츠 구성을 보면, 낮은 레벨의 레이어는 거의 완벽하게 원본 이미지를 보존하고 있지만, 레이어가 깊어질수록 원본 이미지의 정보는 조금씩 소실되지만 가장 중요한 하이 레벨의 콘텐츠는 거의 유지가 되는 것을 볼 수 있음


Ø 논문은 이처럼 동일한 CNN이라 하더라도 콘텐츠와 스타일에 대한 재현이 분리가 되어 있다는 점을 중요하게 내세우고 있는데, 이를 통해 하나의 신경망을 이용해 서로 다른 이미지에서 서로 다른 콘텐츠와 스타일을 재구성하고 이 둘을 섞는 것이 가능한 것임


<자료> A Neural Algorithm of Artistic Style


[그림 3] 나선형 신경망(CNN)을 통한 스타일과 콘텐츠의 재구성 프로세스


ž 이후 구글은 CNN 기술을 보다 강화하여 새로운 논문을 추가로 발표하였는데, 이 논문은 이후 많은 스타트업들의 패스티쉬 앱 출시로 이어지게 되었음


Ø 구글이 기술을 강화해 발표한 후속 논문 A Learned Representation for Artistic Style(예술 스타일을 위한 학습된 재현)은 하나의 신경망으로 32 가지 스타일의 패스티쉬를 생성할 수 있는 프로세스를 소개하고 있음


Ø 또한 이 신경망은 입력된 이미지의 재구성을 실시간으로 실행하기 때문에 영상을 입력하면 재구성 된 영상이 출력되는데, 만일 러빙 빈센트 영화의 제작에 이 기술을 이용했다면 115명의 화가가 수만 장의 그림을 그릴 필요가 없었을 지도 모름


Ø 구글은 이 기술을 개발한 이유에 대해 새로운 예술의 문을 열기 위해서라고 밝히고 있으며, 화가의 스타일을 학습한 신경망은 스마트폰 앱으로 이용할 수 있을 것이라 말했음


Ø 실제로 이후 다수의 벤처기업들이 패스티쉬 앱을 출시하고 있는데, 그 중 가장 주목받은 앱은 프리즈마(Prisma)2016년 여름에 출시된 이후 5천만 다운로드를 기록하고 있음


Ø 프리즈마는 사진을 필터링 하거나 편집하는 앱과는 구조가 근본적으로 다른데, 구글의 CNN 기법을 사용하고 있어 AI가 사진을 분석한 후 학습된 유명 화가의 스타일로 재구성하며 사진을 회화의 예술로 다시 태어나게 함


Ø 사진을 입력한 후 원하는 회화 스타일을 선택하면 사진이 그림으로 변환되는데, 가령 몬드리안 스타일을 선택하면 사진이 가로 세로로 분할된 빨강, 파랑, 노랑의 삼원색으로 재구성됨



[그림 4프리즈마 앱의 몬드리안 스타일 변환


Ø 한편 최근 애플은 클립(Clips)이라는 자체 앱을 선보였는데, 이는 프리즈마 앱과 유사한 기능을 제공하기 위한 것으로 패스티쉬 앱의 인기가 일회성이 아님을 보여주는 반증이기도 함


ž 패스티쉬 앱은 새로운 예술 영역을 구축했다는 평가와 예술가들의 입지를 축소시킨다는 우려를 동시에 낳고 있는데, 예술 분야 역시 인간과 AI의 공존을 위한 모색이 필요할 전망


Ø 패스티쉬 앱의 보급과 함께 패스티쉬 팬도 크게 늘고 있는데, 인스타그램에는 프리즈마로 생성한 패스티쉬 작품이 다수 포스팅 되고 있음


Ø 아무 사진이나 변환한다고 해서 회화 예술이 되는 것이 아니지만 인스타그램에는 볼 만한 패스티쉬 작품이 다수 게재되어 예술의 새로운 영역을 구축하고 있다는 평가도 나오고 있으며, 매력적인 사진이 많은 인스타그램은 프리즈마로 회화의 즐거움이 더해져 더욱 풍부해지고 있음


Ø 반면, AI가 예술가의 일을 빼앗는 게 아니냐는 우려도 확산되고 있는데, AI가 동영상 패스티쉬도 생성할 수 있기 때문에 향후 러빙 빈센트 같은 애니메이션 영화가 추가로 제작된다면 예술가들이 불필요하게 될 것임을 지적하는 사람도 많음


Ø 이런 우려에 대해서는 예술가들이 패스티쉬를 제작하는 기계적 작업에서 해방되어 자신만의 창작 활동에 전념하게 될 것이라는 긍정적 반론도 있음


Ø AI는 반드시 모방할 원본을 필요로 하고 스스로 작품을 만들어내는 것은 아니기 때문에 복사의 범위를 벗어나지 못한다는 것이며, 결국 예술은 인간의 독창성에서 태어난다는 주장임


Ø 물론 이런 주장에 대해서는, 가령 알파고가 인간의 기보를 분석한 것이 아니라 알고리즘 스스로 만들어 낸 기보의 학습을 통해 인간 최고수를 꺾은 것처럼, 예술의 창작 역시 온전히 사람의 전유물이 아니며 AI도 얼마든지 창작 역량을 가질 수 있다는 재반론도 있음


Ø 이런 논란은 결국 회화 예술 분야 역시 인공지능과 인간의 협력, 또는 인간의 창작활동을 위한 AI의 지원 같이 인간과 AI이 공존을 위한 새로운 길의 모색이 필요할 것임을 시사


ž 예술가와 AI의 협업 모델 구축은 향후의 중요 과제로 남겠지만, 패스티쉬를 생성하는 AI를 이용한 새로운 비즈니스 창출 시도는 앞으로 활발히 전개될 예상됨


Ø 러빙 빈센트의 예에서 보듯 인간 예술가들이 수 년에 걸쳐 직접 패스티쉬를 만들기 보다 이를 AI에 맡겨 제작한다면 제작 시간을 단축 할 수 있게 되므로, AI는 우선 애니메이션 영화 제작 비즈니스에서 큰 잠재력을 가진 것으로 볼 수 있음


Ø 미야자키 하야오 같은 유명 애니메이션 아티스트의 스타일을 AI가 학습한다면, 아마 미야자키 하야오 감독의 은퇴 이후 인간이 아닌 AI가 감독의 영향을 가장 강하게 받은 후배로서 애니메이션 영화 제작을 주도할 수도 있을 것임


Ø 실제 프리즈마 앱은 이미 애니메이션 스타일로 변환하는 옵션도 제공하고 있어 이런 상상이 전혀 허황된 것은 아니며, 앞으로 애니메이션 창작 활동에서 인간과 AI가 담당해야 할 작업의 식별과 효과적 자원 배분은 영화 비즈니스의 핵심성공요소가 될 가능성이 높음


<자료> YouTube

[동영상] 프리즈마 앱의 애니메이션 생성 기능


Ø 영화 산업은 AI의 도입에 비교적 적극적인 산업의 하나로 이미 AI가 대본에 주도적으로 참여한 영화의 제작이 이루어지고 있으며, AI가 작곡한 음악을 영화의 배경음악(BGM)으로 사용하는 방안이 논의되고 있기 때문에 향후 적극적인 인간-AI의 협업 모델이 모색될 것으로 전망