보라빛 소를 만나기 위한 도약

※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1793호(2017. 4. 26 발행)에 기고한 원고입니다.

▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

음량기준 도입하는 음악 스트리밍 서비스_사운드 몰개성화 우려.pdf

[ 요 약 ]

[ 본 문 ]

ž 미국음반협회(RIAA)가 발표한 자료에 따르면 2016년 미국 레코드 음악산업의 매출은 소매가 기준으로 77억 달러였으며, 사상 처음으로 스트리밍 부문이 전체 매출의 50%를 초과

RIAA-2016-Year-End-News-Notes.pdf

Ø 2016년의 77억 달러 매출은 여전히 1999년 매출에 비해 절반 이하 수준이기는 하지만, 전년 대비 성장률은 11.4%로 1998년 이후 최대치를 기록하였음

Ø 부문별로 보면 CD와 LP 등 물리 미디어와 디지털 다운로드의 비중은 계속해서 감소하고 있지만, 구독형 유료 스트리밍 서비스 매출이 2배 이상 증가하며 시장을 견인하였음

Ø 유료 스트리밍과 광고 기반 무료 스트리밍을 합한 총 스트리밍 서비스 매출은 전년 대비 69% 증가한 39억 달러로 전체 음악산업 매출의 51%를 차지했는데, 전세계 최대 음악시장인 미국 시장에서 스트리밍이 물리 미디어와 MP3 다운로드 매출을 넘어선 것은 이번이 처음

Ø 스트리밍 중에서도 가장 매출이 높고 성장이 빠른 부분은 유료 구독형 서비스로 2016년 매출은 전년 대비 114% 증가한 25억 달러였으며, 이로써 유료 스트리밍 만으로도 미국 레코드 음악산업 시장 전체의 3 분의 1을 차지하게 되었음

Ø 스트리밍의 득세에 따라 다운로드 판매 매출은 18억 달러에 머물렀는데 이는 전년 대비 22% 감소한 금액으로 감소 폭으로는 역대 최대치였으며, 세부 분야로 보면 곡당 다운로드 판매는 전년 대비 24% 감소, 앨범 다운로드는 전년 대비 20% 감소하였음

Ø 물리 미디어의 판매 매출은 전년 대비 16% 감소한 17억 달러로 시장 전체에서 차지하는 비중이 전년도 29%에서 22%로 떨어졌는데, RIAA에 따르면 물리 미디어의 매출은 2010년에 비해서도 약 절반 규모로 감소했다고 함

ž 한편, 이처럼 스트리밍이 주류로 올라선 가운데 스트리밍 업체들이 ‘음량 기준’을 도입해 음악의 볼륨을 강제로 균일화 한 후 음원을 송출하는 것으로 알려져 논란이 일고 있음

Ø 사람의 청각은 물리적으로 동일한 세기를 가진 소리라 할지라도 음의 주파수에 따라 다른 느낌을 갖게 되는데, 이렇게 사람이 실제로 느끼는 소리의 강도와 감각적인 크기를 ‘음량(Loudness)’이라고 함

Ø VU(볼륨) 미터가 나타내는 값이 같더라도 저음에 비해 높은 주파수의 소리가 크게 느껴지는 것이나, 낮은 음압(Sound Pressure)에서는 중음보다 저음과 고음에 상대적으로 둔감하게 반응하게 되는 것은 바로 이 ‘음량’이 다르기 때문

Ø 사람들은 보통 음압이 높고 볼륨감 넘치는 소리를 첫인상에서 ‘좋은 소리’로 인식하는 경향이 있는데, 이 역시 실제 음의 세기와 사람이 느끼는 음량이 달라서 나타나는 현상임

Ø 음량은 음반 제작 과정에도 주요 고려 요소가 되며, CD로 음반을 만들 때는 음압을 높여 귀에 뜨이게 함으로써, 즉 음량을 조절함으로써 듣는 사람의 관심을 끄는 것을 주목적으로 하게 됨

Ø 이 때문에 스트리밍 서비스 업체들이 음량 기준을 도입하게 되면, 아티스트나 제작자가 CD를 만들 때 의도했던 것과 ‘다른’ 형태로 음원이 청취자에게 제공될 가능성, 부정적으로 말하면 ‘왜곡된’ 형태로 음악 감상이 이루어질 가능성이 생길 수 있음

Ø 스트리밍의 비중이 낮다면 별 문제가 되지 않을 수도 있으나, 전세계적으로 음악 듣기의 미디어가 CD나 다운로드에서 스트리밍으로 급격히 전환되고 있기 때문에, 스트리밍 업체들의 음량 기준 도입은 아티스트와 음악 팬 모두에게 이슈가 될 수 있음

Ø 따라서 본격적인 스트리밍 시대가 시작된 지금, 음량 기준이 음악의 제작과 감상에 미치는 영향과 이슈 및 해결 과제 등을 살펴볼 필요성이 제기되고 있음

ž 음량은 단순한 기술적 차원을 넘어 시장과 산업에 실제 영향을 미치는 요소가 될 수 있는데, 한 때 방송 산업에서 유행한 ‘음량 전쟁(Loudness War)’이 대표적 사례임

Ø ‘음량 전쟁’은 듣는 사람의 첫인상에 어필하는 효과를 노리고 사운드의 제작 과정에서 디지털 처리를 통해 음량 올리기 경쟁을 하는 것을 비꼰 말

Ø 음량이 높으면 갑자기 들었을 때 화려하게 느껴지고 좋은 소리로 느끼는 하는 경우가 많기 때문에 다른 음악과 비교할 때 듣는 사람의 주의를 끌고 환기시키는 효과가 있음

Ø 반면 최대 음량 값과 최소 음량 값의 차이가 작아져 다이내믹 레인지가 좁아지기 때문에 생동감과 톤이 손실되는 단점도 있고, 계속해서 큰 볼륨감에 노출될 경우 장시간 들었을 때 피로감을 느끼게 될 위험도 있음

Ø 과거 아날로그 시대 텔레비전 방송에서는 광고가 시작되면 갑자기 소리가 커져 리모컨으로 급히 볼륨을 내려야 하는 일이 종종 있었음

Ø 이는 광고 스폰서 등이 자신들의 광고를 다른 업체와 비교해 조금이라도 주의를 끌게 하려고 고음을 강조하는 후처리를 하고 음량을 올렸기 때문에, 방송 프로그램과 광고 사이에 볼륨감의 차이가 발생하기 때문에 일어난 현상임

Ø 당시 방송국들은 VU 미터로 측정했을 때 ‘제로 VU 이하’라는 규정을 마련했고, 포스트 프로덕션 등 단계에서 음향 엔지니어들이 규정의 기본값에 맞게 음량 처리를 실시했는데, 이는 당시 시청자들이 광고의 볼륨에 대한 불만 제기가 매우 많았음을 방증함

ž 음량 전쟁의 논란을 일자 ITU-R은 논의 끝에 주관적 요인이 큰 볼륨감을, 산업별로 전용 알고리즘을 설계하기 위한 ‘음량 값(Loudness Value)’으로 정량화하였음

Ø 텔레비전 방송의 디지털화를 계기로 ITU-R(국제전기통신연합·무선통신부문)은 음의 규격을 권고하고 각국이 ‘디지털 TV 방송의 음량 운용 규정’을 만들어 음량 레벨을 관리하도록 유도했는데, 이 때문인지 지금은 예전에 비해 광고 소리가 크다고 느끼는 일은 별로 없음

[표 1] 주요 국가의 디지털 방송 음량 규제 현황

<자료> IITP 정리

Ø 게임기 업계도 이런 움직임에 반응해 2013년, 당시 소니 컴퓨터 엔터테인먼트는 ‘Audio Standards Working Group(ASWG, 오디오 표준 워킹그룹)’을 발족해 음량 기준을 정했음

Ø 음량 값은 ‘LKFS(Loudness K-weighted, relative to Full Scale)’라는 단위를 사용하며, LKFS를 LUFS(Loudness Units relative to Full Scale)로 표기하기도 하는데, 수치가 클수록 볼륨감도 커짐

Ø ITU-R은 방송업계는 ‘-24 LKFS’, 게임업계는 가정용 기기일 경우 ‘-24 LKFS’ 휴대용 기기일 경우 ‘-18 LKFS’를 각각 권고하고 있는데, 휴대용 기기의 값을 높게 설정하고 있는 것은 스피커가 작고 야외에서의 사용 환경을 고려했기 때문

ž 한편 방송업계나 게임업계와 달리 음악업계는 최근 스트리밍 업체들의 음량 균일화 논란이 일어나기 전까지는 음량 기준을 도입하려는 움직임은 전혀 없는 것처럼 보였음

Ø 각 기업 차원에서 내부 기준을 마련하고 있었을 가능성은 있지만, 대중 음악을 놓고 보면 음량을 높여 귀에 확 들어 오는 화려한 느낌을 추구한 것으로 보이는 음원이 여전히 ​​많음

Ø 이는 디지털 기술의 발전으로 파형의 최고치(피크 볼륨)를 왜곡하지 않도록 제어하면서, 파형의 최저치 부분을 들어 올림으로써 음량을 높이는 것이 비교적 쉬워진 덕분임

Ø 무엇보다 높은 음량에 의한 화려한 사운드 만들기는 아티스트를 포함한 제작자의 표현 방법의 하나로 인정되고 있기 때문이기도 한데, 음악 장르에 따라서는 항상 박력 있는 사운드를 요구하는 경우가 분명히 있기 때문

Ø 앨범을 제작할 때 녹음한 사운드 그대로 연주자가 펼치는 섬세함과 강함을 모두 살려 다이내믹 레인지가 넓은 음향을 만들 수도 있지만, 반면 음량을 높임으로써 사운드가 박력 있게 느껴지도록 의도할 수도 있는데, 이는 어디까지나 제작 의도에 달린 것임

Ø 이런 이유로 만일 음량 기준치를 마련해 일률적으로 균일화하려 한다면 음반 제작자 측에서 반대할 것이 자명하기 때문에 음반산업은 음량 기준 설정 움직임과 거리를 두어 온 것임

ž 음악에 관한 한 업계 차원의 음량 기준 도입은 전혀 생각할 수 없는 이야기였기에, 앞서 언급한 스트리밍 서비스 플랫폼들의 음량 기준 도입이 논란을 낳고 있는 것임

Ø 현재 일부 스트리밍 서비스 플랫폼에서는 음악을 송출할 때 기계적으로 자체 설정한 음량 값으로 균일화하여 송출하고 있는 것으로 알려지고 있으며 이에 대한 비판이 제기되고 있음

Ø 물론 이에 대해 과거 아날로그 텔레비전 시대 광고 음량 이슈 때와 같은 맥락의 조치로, 여러 아티스트의 곡을 추천 기능 등에 의해 연속적으로 재생시킬 때 청취자가 곡마다 음량이 달라 매번 번거롭게 볼륨 조작을 해야 하는 상황을 없애려는 배려로 보는 시각도 있음

Ø 흥미로운 점은 각 플랫폼에 따라 음량 값이 약간씩 다르다는 점인데, 온라인 마스터링 서비스를 제공하는 영국 기업 ‘MASTERING THE MIX’의 블로그에 따르면, 아이튠즈 라디오는 -16 LUFS, 유튜브는 -13 LUFS, 스포티파이는 -12 LUFS라고 함

Ø 청취자에게는 볼륨이 균일화되어 듣기 편하게 되면 환영 받을 수 있지만, 반대로 아티스트나 음악 제작자의 시선으로 이러한 기준을 접하게 되면 걱정하지 않을 수 없음

Ø 가령 음량 값이 높은 악곡을 기준치까지 자동으로 낮춰 전달하게 되면, 악기의 균형과 배치 등 음악의 뉘앙스가 전혀 다른 것이 되어 버리는데, 원래 기준치를 초과하는 음량 값이 높은 곡의 경우 듣는 사람의 귀에 작은 소리로 들리게 되기 때문

Ø 이렇게 되면 마케팅적으로 불리하게 되는데, 다른 곡에 비해 귀에 확 들어오도록 화려함을 추구해 음량을 올렸음에도 작고 움츠러드는 소리로 들리게 된다면 되려 역효과가 날 수 있음

Ø 한편, 플랫폼의 기준 음량 값보다 낮은 음량 값의 음원을 균일화 처리한 경우는 재생 장치의 볼륨을 높이고 듣는 것과 유사한 상태가 되는 것이므로 음악의 뉘앙스가 크게 변하지는 않음

ž MASTERING THE MIX의 블로그에 따르면, 스포티파이 외에 애플뮤직 마저 음량 기준을 도입하게 된다면 음악 산업에 중대한 영향력을 미칠 것으로 보임

Ø 애플뮤직은 현재 음량 기준에 따른 균일화 처리를 하지 않는 것으로 보이지만, PC 버전의 아이튠즈나 iOS 음악 앱에서 ‘볼륨 자동 조정’을 통해 쉽게 균일화를 시뮬레이션 해볼 수 있음

Ø 볼륨 자동 조정을 선택하면 -16.9 LUFS로 음량이 균일화되어 여러 아티스트들의 음악이 뒤섞여 있는 플레이리스트를 재생해도 볼륨감이 동일해져 볼륨 조절의 번거로움을 피할 수 있음

Ø 따라서 만일 애플이 애플뮤직에 음량 기준을 도입하게 된다면, 아이튠즈 등의 ‘볼륨 자동 조정’ 기능에 맞춘 수준이 될 것으로 예상됨

Ø 스포티파이는 현재 전세계 1억 명 이상이 이용하고 있고 유료 가입자만 5천만 명을 넘어선 세계 최대 음악 서비스 플랫폼인데, 이에 더해 유료 스트리밍으로만 2천만 명의 가입자를 확보한 애플뮤직이 음량 균일화에 동참한다면 이는 음량 표준화가 사실상 표준이 됨을 의미

Ø 음량 균일화가 음악 산업에 미치는 영향은 지대할 것으로 보이는데, 단지 시장 매출을 늘린다거나 위축시킨다거나 하는 차원이 아니라, 음악을 창작하고 소비하는 관점에 근본적 변화를 가져올 수 있는 차원의 문제이기 때문

Ø 음악을 듣는 미디어가 스트리밍으로 급속히 기울고 있기 때문에, CD나 다운로드 시절의 생각을 고집해 음량 경쟁에 심혈을 기울인 아티스트의 음악은 그 의도대로 청취자들에게 전달될 수 없게 되었으며, 만든 사람과 듣는 사람 모두 만족하지 못하는 결과로 이어질 가능성이 커졌음

ž 음량 기준 논란은 스트리밍의 확산이 가져 온 음악산업 패러다임의 급변을 보여주는 또 하나의 사례로, 본격적인 스트리밍 시대를 맞이한 음악산업은 당분간 과도기를 겪게 될 전망

Ø CD나 MP3의 경우 아티스트나 제작자의 생각에 따라 볼륨이 달라지는 것은 ‘개성’으로 받아들여 졌으며, 이에 대해 이의를 제기하는 청취자는 없었고 볼륨 조절도 청취자의 몫이었음

Ø 스트리밍 서비스는 ‘개성이 함몰’ 된 채로 불특정 다수에게 전달되는 방송과 비슷한 형태의 서비스로 볼 수도 있으며, 그렇다면 과거 아날로그 방송 때처럼 볼륨 조절이 귀찮아진 청취자들의 목소리가 높아질 가능성이 있음

Ø 음량 기준 이슈는 어찌 보면 스트리밍 서비스를 놓고 벌어지는 논란 중 빙산의 일각에 불과한 것으로, 스트리밍 음악에 대한 논란은 음악 콘텐츠의 생산과 향유의 본질이 무엇인가 하는 근원적 질문에 맞닿아 있는 매우 복잡한 사안임

Ø 아직도 많은 아티스트와 제작자들은 싱글과 미니 앨범을 거쳐 정식 앨범을 만드는 일을 음악 예술의 목표로 삼고 있지만, 스트리밍 시대에 이 같은 방식의 음반 제작은 더 이상 음악 팬들의 지지를 이끌어내지 못하고 있음

Ø 좋아하는 가수의 음반을 몇 년 간 손꼽아 기다리는 것은 이제 과거의 일이 되었고, 대부분의 사람들은 음악 팬이 아닌 음악 소비자가 되어, 스트리밍 서비스가 연속으로 재생해 주는 수십 곡을 가볍게 듣고 흘려 보낼 뿐임

Ø 게다가 음악 서비스 플랫폼이 SNS와 연계되면서, 내가 좋아하는 아티스트의 음악듣기에 초점을 맞추는 것이 아니라, 유행에 뒤쳐지지 않게 다른 사람들이 듣는 음악, 다른 사람들에게 인기를 얻고 있는 아티스트를 발빠르게 소비하는 것이 보다 중요해지게 되었음

Ø 유명 아티스트들이 종종 스트리밍 서비스의 수익 배분 비율을 문제 삼아 스트리밍 플랫폼에 음원 제공을 거부하기도 하지만, 보다 근본적이 반대 이유는 스트리밍 서비스에 의해 청취자들의 음악 듣기를 대하는 태도가 급격히 가벼워지고 일회성이 되었기 때문

Ø 스트리밍에 대한 논란에도 불구하고, 이제 스트리밍은 주류가 되었으며 CD와 다운로드의 종말이 거론될 정도로 되돌리기 힘든 흐름이 되었기 때문에, 이제 남은 것은 음악 산업이 이 흐름을 어떻게 수용할 것인가 하는 문제임

Ø 일부 아티스트들은 음원 녹음 단계에서부터 전통적 스튜디오 녹음을 하지 않고, 아이폰으로 스트리밍 서비스를 듣는 소비자의 상황에 적합한 사운드 제작만을 목적으로 가볍게 제작에 나서고 있는데, 이런 방식에 대해서도 찬반 논란이 일고 있음

Ø 스트리밍이 음악의 본질을 바꾸어 놓고 있는 지금, 스트리밍 시대의 음악 생산과 소비 패러다임이 어떻게 변하고, 음악산업은 어떻게 성장할 지, 음악산업 밸류체인 플레이어들은 당분간 다양한 시도와 시행착오를 거치며 새로운 길을 모색해 갈 것으로 전망됨

※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1792호(2017. 4. 19 발행)에 기고한 원고입니다. 

▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

화가와 인공지능의 패스티쉬 대결 예술로 가는 AI.pdf

[ 요 약 ]

[ 본 문 ]

ž 영국의 영화사 브레이크스루(BreakThru Productions)는 최근 2011년부터 100여 명의 화가와 함께 작업해 온 장편 유화 애니메이션 ‘러빙 빈센트(Loving Vincent)’의 예고편을 공개

Ø ‘러빙 빈센트’는 빈센트 반 고흐가 그린 작품과 함께 그의 작품 속 인물들과 가상 인터뷰를 통해 고흐의 삶과 인생을 내레이션 하는 애니메이션 영화로 반 고흐가 죽기 전 8년간의 인생에 초점을 두고 있다고 함

Ø 러빙 빈센트는 개봉 전부터 많은 관심을 받고 있는데, 세계 최초로 영화와 예고편 영상의 러닝타임에 등장하는 모든 프레임을 고흐 스타일의 유화 작품으로 구성했기 때문

Ø 영화 제작사는 화가로서 인생을 산 10년 동안 일주일에 약 두 점씩, 총 860여 점의 그림을 그리며 불꽃 같은 삶을 살다 간 빈센트 반 고흐의 삶을 고스란히 전달하기 위해 고흐 풍의 유화 애니메이션 영화를 만들게 되었다고 설명

Ø 영화의 프레임에 사용된 유화는 6만 5천 점으로 영상 1초에 12점의 그림이 연사 된다고 하는데, 이를 위해 2011년부터 115 명의 화가가 유화 작업에 참여했다고 함

Ø 영화의 제작 방식은 배우의 연기를 카메라로 촬영한 다음 각 장면을 화가들이 유화로 그리는 것인데, 이를 위해 화가들은 고흐의 작품 스타일을 학습한 후 동영상의 프레임을 고흐 풍으로 모사하였음

Ø 가령 영화 속 고흐의 모습은 [그림 1]에서 보듯 고흐 역을 맡은 폴란드의 배우 로버트 굴락칙을 그린 유화로 표현되는데, 이 때 유화의 스타일은 고흐의 작품 ‘자화상’에 사용된 붓 터치 방식을 모방한 것임

ž 한편 영화의 제작이 한창이던 2015년 9월 흥미롭게도 구글은 인공지능(AI)이 화가의 작품 스타일을 습득하고, 주어진 사진을 화가의 화풍을 따른 그림으로 변환하는 기술을 발표

Ø 영화 러빙 빈센트가 카메라로 촬영한 장면을 작가들이 고흐의 화풍을 모방하여 그린 것처럼, 구글은 인공지능을 대상으로 고흐의 스타일을 학습시킨 후 입력된 사진을 보고 이를 고흐 화풍의 유화로 변환하게 하는 기술을 개발한 것임

Ø 포스트 모더니즘의 대표적인 기법인 ‘패스티쉬(Pastiche)’는 패러디와 달리 비판하거나 풍자하려는 의도 없이 기존의 텍스트를 무작위적으로 모방하는 것을 말하는데, 영화 러빙 빈센트가 패스티쉬 기법으로 만들어진 것이라면, 구글은 인공지능 패스티쉬 기술을 개발했다 할 수 있음

Ø 구글은 회화를 패스티쉬 하는 심층 신경망(Deep Neural Network)의 연구개발 성과를 ‘예술 스타일의 신경 알고리즘(A Neural Algorithm of Artistic Style)’이라는 제목의 논문으로 발표하였음

Ø 발표 직후 이 짧은 논문은 개발자들은 물론 기술을 잘 모르는 일반인들에게도 관심을 불러 일으켰는데, 개발자 커뮤니티인 깃허브 등에서는 논문의 실효성 검증을 위한 프로젝트들이 만들어졌으며, 실험 결과 사진의 내용은 보존한 채 질감만 바꿔 출력할 수 있음이 검증되었음

ž 구글의 심층 신경망에 사진을 입력하면 여러 가지 스타일의 그림, 즉 유명 화가 여러 명의 화풍을 모방한 여러 장의 그림들로 변환해 줌

Ø [그림 2]에서 보듯 상단 왼쪽의 사진을 입력하면 윌리엄 터너의 ‘The Shipwreck of the Minotaur(미노타우르스호의 난파)' 스타일, 반 고흐의 ‘The Starry Night(별이 빛나는 밤)’ 스타일, 에드바르트 뭉크의 ‘The Scream(비명)’ 스타일, 파블로 피카소의 ‘Seated Nude(앉아있는 나부)’ 스타일, 바실리 칸딘스키의 ‘Composition Ⅶ(구성 Ⅶ)’ 스타일의 그림으로 사진을 재구성함

Ø 심층 신경망은 Convolutional Neural Network(CNN, 나선형 신경망, 이미지 인식 기능)을 사용하고 있는데, 하나의 신경망이 두 가지 기능을 가지고 있어 입력된 사진을 변환하는 동시에 화가의 작품 스타일을 학습함

Ø CNN은 각각의 레이어가 ‘특징 량(feature)’을 가진다고 보며, 이 특징 량들이 계층적(hierarchy)으로 쌓이면서 더 높은 레이어로 갈수록 더 좋은 특징 량을 만들어 낸다고 보기 때문에, 일반적으로 이미지 인식에서 월등한 성능을 낸다고 알려져 있음

Ø [그림 3]은 CNN에서 서로 다른 두 가지 방법으로 스타일과 콘텐츠를 레이어 별로 재구성 하는 것을 보여주는데, 위쪽은 고흐의 ‘별이 빛나는 밤’ 스타일을 레이어 별로 재구성 한 것이고, 아래쪽은 튀빙겐에서 찍은 사진의 콘텐츠를 레이어 별로 재구성 한 것임

Ø 스타일 재구성에서 알 수 있는 것은 레이어가 얕을수록 원래 콘텐츠 정보는 거의 무시하고 ‘질감(texture)’을 복원하는 반면 깊은 레이어로 갈수록 점점 원래 콘텐츠 정보가 포함된다는 것으로, 현격한 특징 량을 추출하여 회화의 터치 등 화가의 스타일을 파악함

Ø 콘텐츠 구성을 보면, 낮은 레벨의 레이어는 거의 완벽하게 원본 이미지를 보존하고 있지만, 레이어가 깊어질수록 원본 이미지의 정보는 조금씩 소실되지만 가장 중요한 하이 레벨의 콘텐츠는 거의 유지가 되는 것을 볼 수 있음

Ø 논문은 이처럼 동일한 CNN이라 하더라도 콘텐츠와 스타일에 대한 재현이 분리가 되어 있다는 점을 중요하게 내세우고 있는데, 이를 통해 하나의 신경망을 이용해 서로 다른 이미지에서 서로 다른 콘텐츠와 스타일을 재구성하고 이 둘을 섞는 것이 가능한 것임

ž 이후 구글은 CNN 기술을 보다 강화하여 새로운 논문을 추가로 발표하였는데, 이 논문은 이후 많은 스타트업들의 패스티쉬 앱 출시로 이어지게 되었음

Ø 구글이 기술을 강화해 발표한 후속 논문 ‘A Learned Representation for Artistic Style(예술 스타일을 위한 학습된 재현)’은 하나의 신경망으로 32 가지 스타일의 패스티쉬를 생성할 수 있는 프로세스를 소개하고 있음

Ø 또한 이 신경망은 입력된 이미지의 재구성을 실시간으로 실행하기 때문에 영상을 입력하면 재구성 된 영상이 출력되는데, 만일 러빙 빈센트 영화의 제작에 이 기술을 이용했다면 115명의 화가가 수만 장의 그림을 그릴 필요가 없었을 지도 모름

Ø 구글은 이 기술을 개발한 이유에 대해 새로운 예술의 문을 열기 위해서라고 밝히고 있으며, 화가의 스타일을 학습한 신경망은 스마트폰 앱으로 이용할 수 있을 것이라 말했음

Ø 실제로 이후 다수의 벤처기업들이 패스티쉬 앱을 출시하고 있는데, 그 중 가장 주목받은 앱은 ‘프리즈마(Prisma)’로 2016년 여름에 출시된 이후 5천만 다운로드를 기록하고 있음

Ø 프리즈마는 사진을 필터링 하거나 편집하는 앱과는 구조가 근본적으로 다른데, 구글의 CNN 기법을 사용하고 있어 AI가 사진을 분석한 후 학습된 유명 화가의 스타일로 재구성하며 사진을 회화의 예술로 다시 태어나게 함

Ø 사진을 입력한 후 원하는 회화 스타일을 선택하면 사진이 그림으로 변환되는데, 가령 몬드리안 스타일을 선택하면 사진이 가로 세로로 분할된 빨강, 파랑, 노랑의 삼원색으로 재구성됨

[그림 4] 프리즈마 앱의 몬드리안 스타일 변환

Ø 한편 최근 애플은 ‘클립(Clips)’이라는 자체 앱을 선보였는데, 이는 프리즈마 앱과 유사한 기능을 제공하기 위한 것으로 패스티쉬 앱의 인기가 일회성이 아님을 보여주는 반증이기도 함

ž 패스티쉬 앱은 새로운 예술 영역을 구축했다는 평가와 예술가들의 입지를 축소시킨다는 우려를 동시에 낳고 있는데, 예술 분야 역시 인간과 AI의 공존을 위한 모색이 필요할 전망

Ø 패스티쉬 앱의 보급과 함께 패스티쉬 팬도 크게 늘고 있는데, 인스타그램에는 프리즈마로 생성한 패스티쉬 작품이 다수 포스팅 되고 있음

Ø 아무 사진이나 변환한다고 해서 회화 예술이 되는 것이 아니지만 인스타그램에는 볼 만한 패스티쉬 작품이 다수 게재되어 예술의 새로운 영역을 구축하고 있다는 평가도 나오고 있으며, 매력적인 사진이 많은 인스타그램은 프리즈마로 회화의 즐거움이 더해져 더욱 풍부해지고 있음

Ø 반면, AI가 예술가의 일을 빼앗는 게 아니냐는 우려도 확산되고 있는데, AI가 동영상 패스티쉬도 생성할 수 있기 때문에 향후 러빙 빈센트 같은 애니메이션 영화가 추가로 제작된다면 예술가들이 불필요하게 될 것임을 지적하는 사람도 많음

Ø 이런 우려에 대해서는 예술가들이 패스티쉬를 제작하는 기계적 작업에서 해방되어 자신만의 창작 활동에 전념하게 될 것이라는 긍정적 반론도 있음

Ø AI는 반드시 모방할 원본을 필요로 하고 스스로 작품을 만들어내는 것은 아니기 때문에 복사의 범위를 벗어나지 못한다는 것이며, 결국 예술은 인간의 독창성에서 태어난다는 주장임

Ø 물론 이런 주장에 대해서는, 가령 알파고가 인간의 기보를 분석한 것이 아니라 알고리즘 스스로 만들어 낸 기보의 학습을 통해 인간 최고수를 꺾은 것처럼, 예술의 창작 역시 온전히 사람의 전유물이 아니며 AI도 얼마든지 창작 역량을 가질 수 있다는 재반론도 있음

Ø 이런 논란은 결국 회화 예술 분야 역시 인공지능과 인간의 협력, 또는 인간의 창작활동을 위한 AI의 지원 같이 인간과 AI이 공존을 위한 새로운 길의 모색이 필요할 것임을 시사

ž 예술가와 AI의 협업 모델 구축은 향후의 중요 과제로 남겠지만, 패스티쉬를 생성하는 AI를 이용한 새로운 비즈니스 창출 시도는 앞으로 활발히 전개될 예상됨

Ø 러빙 빈센트의 예에서 보듯 인간 예술가들이 수 년에 걸쳐 직접 패스티쉬를 만들기 보다 이를 AI에 맡겨 제작한다면 제작 시간을 단축 할 수 있게 되므로, AI는 우선 애니메이션 영화 제작 비즈니스에서 큰 잠재력을 가진 것으로 볼 수 있음

Ø 미야자키 하야오 같은 유명 애니메이션 아티스트의 스타일을 AI가 학습한다면, 아마 미야자키 하야오 감독의 은퇴 이후 인간이 아닌 AI가 감독의 영향을 가장 강하게 받은 후배로서 애니메이션 영화 제작을 주도할 수도 있을 것임

Ø 실제 프리즈마 앱은 이미 애니메이션 스타일로 변환하는 옵션도 제공하고 있어 이런 상상이 전혀 허황된 것은 아니며, 앞으로 애니메이션 창작 활동에서 인간과 AI가 담당해야 할 작업의 식별과 효과적 자원 배분은 영화 비즈니스의 핵심성공요소가 될 가능성이 높음

<자료> YouTube

[동영상] 프리즈마 앱의 애니메이션 생성 기능

Ø 영화 산업은 AI의 도입에 비교적 적극적인 산업의 하나로 이미 AI가 대본에 주도적으로 참여한 영화의 제작이 이루어지고 있으며, AI가 작곡한 음악을 영화의 배경음악(BGM)으로 사용하는 방안이 논의되고 있기 때문에 향후 적극적인 인간-AI의 협업 모델이 모색될 것으로 전망

※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1792호(2017. 4. 19 발행)에 기고한 원고입니다. 

▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

로봇 분야 연쇄기업가 2인_광범위한 로봇의 응용범위.pdf

ž 트위터와 스퀘어를 연이어 성공시킨 잭 도시(Jack Dorsey)처럼 실리콘밸리에는 많은 연속 기업가들이 있는데, 로봇 분야에서는 헨리 손(Henry Thorne)이 대표적 연속 기업가로 꼽힘

Ø ‘연속 기업가(Serial Entrepreneur)’는 하나의 스타트업을 성공시킨 후 비즈니스를 매각하거나 전문 경영인에 넘긴 다음, 새로운 사업 아이템을 발굴해 또 다른 창업을 하는 기업가로 실리콘밸리에서 성공한 창업자들의 보편적 경로가 되고 있음

Ø 로봇 분야에도 주목할 만한 연속 기업가들이 나타나고 있는데, 스타트업 ‘포맘스(4moms)’의 공동 창업자인 헨리 손이 첫번째로 꼽히고 있음

Ø 2005년 만들어진 4moms는 로봇 기술을 응용한 아기 유모차와 요람, 아기용 욕조 등을 개발해 기술 친화적인 젊은 엄마들에게 많은 인기를 얻고 있는 기업임

Ø 4moms가 개발한 전동 자동 접이식 유모차 ‘오리가미(Origami, 일본어로 ‘종이접기’라는 뜻)’는 사용자가 버튼을 누르기만 하면 컨버터블 자동차처럼 접혔던 상태에서 펼쳐져 완전한 유모차 상태로 변신하는데, 여기에는 로봇 기술을 응용되어 있음

Ø 마찬가지로 로봇 기술을 응용한 요람인 ‘마마루(mamaRoo)’는 자율적으로 조금씩 흔들리며 아기를 달래주는데, 같은 동작을 반복하는 것이 아니라 다섯 가지 흔들리는 동작을 하나의 기구에서 제공하고 있음

[동영상] 4moms의 유아용 로봇 오리가미

Ø 오리가미와 마마루는 로봇에서 축적된 메카트로닉스를 응용하고 있는데, 로봇 같은 외형은 아니지만 로봇 기술을 다양하게 적용할 수 있음을 보여주는 좋은 예로 꼽히고 있음

Ø 4moms의 공동 창업자인 헨리 손은 로봇 연구로 유명한 카네기 멜론 대학 출신으로 2001년 창업한 로봇 기업 ‘에이손(Aethon)’으로 큰 성공을 거둔 바 있는 연속 기업가임

ž 헨리 손은 이미 15년 전에 에이손을 통해 병원용 자율주행 로봇의 컨셉을 제시해 시대를 선도하였으며, 이후 유아용 로봇 개발에 나서며 새로운 혁신에 나서고 있음

Ø 에이손은 병원 안을 스스로 돌아다니며 시트와 음식 등을 운반하는 로봇으로 현재 병원 관계자들로부터 큰 관심을 받고 있는데, 지금은 자율주행 로봇이 그다지 새로운 개념이 아니나 15년 전 헨리 손의 병원용 자율주행 로봇 제안은 업계에 신선한 충격을 주었음

Ø 에이손의 병원용 로봇의 이름은 ‘터그(Tug)’로 본체 뒤에 카트를 연결해 끄는 구조로 운반하는 내용물에 따라 카트를 교체할 수 있도록 되어 있는데, 가령 식사의 경우 식판 거치 선반 여러 개가 있는 문이 달린 카트를, 약품이라면 암호를 입력해 열어야 하는 서랍형 카트를 사용함

Ø 카트를 끄는 로봇 본체의 기능은 동일해서, 행선지를 입력하면 터그는 자율주행을 시작해 도중에 문이 있으면 문을 열고, 사람을 만나면 부딪치지 않도록 옆으로 비키거나 일시 작동을 멈추며, 엘리베이터도 스스로 타고 이동하는데 만일 비어 있지 않으면 탑승하지 않음

Ø 현재 터그 로봇은 실리콘밸리 지역의 병원들에 도입되어 있는데, UCSF 대학 부속 의료센터의 경우 30대의 터그를 운영 중으로 환자의 짐을 옮겨주는 일을 비롯, 입원 환자가 원하는 시간에 주문한 식사를 가져다 주는 등 호텔과 같은 서비스 제공에 이용하고 있음

Ø 이처럼 병원이라는 특정 산업을 대상으로 한 자율주행 로봇을 개발했던 헨리 손의 다음 비즈니스가 유아용 제품이라는 사실은 로봇 기술과 로봇 개발의 경험이 다른 영역에도 적용될 수 있음을 증명함으로써 혁신이 어떠해야 한다는 것을 잘 느끼게 해주었다는 평을 받았음

ž 로봇 산업의 또 다른 연속 기업가로는 현재 AR(증강현실) 기술 개발업체인 ‘매직 립(Magic Leap)’의 창업자 ‘로니 아보비츠(Rony Abovitz)’가 꼽힘

Ø 아보비츠는 로봇 팔을 이용하여 무릎 관절의 임플란트 수술 기술을 개발하는 ‘마코 서지컬(MAKO Surgical)’이라는 의료 로봇 기업을 2004년에 공동 설립한 바 있음

Ø 마코 서지컬은 로봇 팔과 영상 가이드라인에 의해 의사의 손이 닿기 어려운 부분에 도달할 수 있는 기술을 보유한 가진 기업으로 현재 다른 기업에 인수된 상태임

Ø 아보비츠는 느낌과 견해를 갖는 로봇 기술을 개발하는 기업도 공동 창업하는 등 로봇 기술의 첨단화에 상당히 관여한 인물임

Ø 그런 아보비츠가 AR 영역으로 새롭게 진출했는데, 이미지 기술과 공간 매핑이 필요하다는 점에서 의료 수술 로봇과 AR 기술은 공통되는 측면이 있기 때문에 업계 관계자들은 아보비츠가 로봇 기술의 AR 접목과 관련해 어떤 가능성을 간파한 것이 아니냐고 추측하고 있음

[동영상] 매직 립의 증강현실(AR) 기술

Ø 아보비츠의 AR 분야 스타트업인 매직 립은 자신들의 기술에 대해 현재 많은 것을 공개하지 않아 베일에 쌓여 있지만, 차별화된 AR 기술을 보유하고 있음을 인정받아 현재 기업 가치가 약 45억 달러에 달함

Ø 로봇 분야의 연속 기업가인 헨리 손과 로니 아보비츠의 행보는 로봇이라는 단어에만 사로 잡혀 사업적 발상을 제한할 것이 아니라, 로봇 분야의 기술은 아직까지 큰 가능성과 넓은 응용 영역이 있다는 점에 주목할 필요가 있음을 잘 보여주고 있음