보라빛 소를 만나기 위한 도약

구글 ‘AR 스티커’ 앱 인기, AI 시스템으로 진화하는 스마트폰.pdf

[ 요 약 ]

[ 본 문 ]

ž 구글의 새로운 증강현실 기술인 ‘ARCore’에 기반을 둔 첫번째 앱 ‘AR Stickers(스티커)’가 2012년 12월 ‘픽셀(Pixel) 2’ 스마트폰 전용의 카메라 앱으로 투입되었음

Ø 2014년에 구글은 증가현실 기술 ‘프로젝트 탱고(Tango)’를 발표했는데 이 기술은 전용 렌즈를 따로 구비해야 하는 번거로움이 있었고, 그래서 탱고를 지원하는 스마트폰 기기가 레노버의 팹플러스2와 아수스의 젠폰AR 등 극소수에 불과했음

Ø 구글이 프로젝트 탱고의 문제로 고민할 즈음 애플은 작년 6월 전용 렌즈 필요 없이 아이폰 만으로 AR을 구현하는 ‘ARKit’ 기술을 선보였고, 이 방향이 보다 대중적이라 판단한 구글은 얼마 후에 그와 유사한 ‘ARCore’ 기술을 공개하며 프로젝트 탱고는 2018년 3월 종료한다고 발표

Ø 애플에 비해 조금 늦긴 했지만 구글의 AR코어는 발표 당시 큰 기대를 모았는데, 이를 이용한 첫번째 증강현실 앱으로 선보인 ‘AR Stickers’는 기대를 저버리지 않았다는 호평을 이끌어 냈음

Ø 이미 많은 스마트폰에서 비디오나 사진을 개체 또는 텍스트와 증강현실로 통합해 주는 AR 앱을 사용할 수 있지만 ‘AR스티커’의 특징은 높은 정밀도로 증강현실을 구현하고 있다는 것으로 현실과 가상 공간의 구분을 없앴다는 평을 받고 있음

ž AR스티커 앱은 픽셀2 스마트폰의 카메라를 이용하기 때문에, 이용하려면 우선 안드로이드 8.1을 설치하고, 앱 업데이트를 통해 ‘AR코어’와 ‘AR스티커’를 다운로드 받아야 함

Ø 다운로드 후 구글 카메라 앱을 사이드 메뉴에 열게 되면 새롭게 추가된 ‘AR Stickers’ 옵션이 보이는데, 이를 탭한 다음 몇 가지 설정을 해주어야 함

Ø 스티커가 나타나게 하고 싶은 평평한 공간으로 카메라 렌즈를 향하게 한 후 스마트폰을 몇 번 회전시키면 카메라가 공간을 분석하게 되는데, 이 공간 인식 과정은 오로지 카메라에만 의존하며 다른 특별한 센서는 필요로 하지 않음

Ø 픽셀2 스마트폰이 공간 매핑 작업을 끝내면 스티커를 붙일 수 있는데, 현재 ‘Star Wars, Stranger Things, Foodmoji, Text, Blocks’의 5가지 팩이 제공되고 있음

Ø 스티커 캐릭터를 가져온 다음 아이템에 따라 터치 컨트롤을 이용해 화면에 맞게 크기를 늘리거나 줄일 수 있으며 원하는 공간으로 이동시킬 수 있고, 세팅이 끝나고 나면 비디오 녹화 혹은 사진 촬영을 할 수 있음

Ø AR스티커는 현재 자동 초점(autofocus)이나 탭으로 초점 맞추기(tap-to-focus) 기능은 제공하고고 있지 않으며, 향후 픽셀 1에서도 이용할 수 있게 할 지 여부는 공개되지 않고 있음

ž AR스티커는 다양한 세트를 제공하고 있지만, 영화 스타워즈 최신 시리즈 ‘라스트 제다이(Star Wars: The Last Jedi)’의 캐릭터들이 가장 큰 인기를 누리고 있음

Ø 스타워즈 세트를 선택하면 영화에 등장하는 여러 캐릭터를 비디오에 넣을 수 있는데, 가령 은하 제국군 기동 보병인 ‘스톰트루퍼(Stormtrooper)’를 선택해 비디오에 배치 할 수 있음

Ø 촬영을 시작하면 스톰트루퍼가 움직이며 소리를 내는데, 하나가 아니라 여러 스톰트루퍼를 배치할 수도 있으며 각 객체는 독립적으로 움직임을 보이게 되는데, 이들 기동 보병은 매우 사실적으로 묘사되어 있고 움직임이 자연스럽고 부드러워 실제 캐릭터와 분간이 어려움

Ø 동맹 반군의 전투기인 'X-윙 파이터(X-wing Fighter)’를 선택하면 가변 날개를 X자 모양으로 펼친 상태에서 공중을 호버링하는데, 전투기는 주위 배경의 밝기에 따라 지상에 그림자를 드리우기 때문에 배경과 하나로 합쳐져 가상 이미지라는 느낌을 전혀 주지 않음

<자료> TechAcute

[그림 2] 스타워즈 스티커 세트 중 X-윙 파이터를 이용한 AR 비디오

Ø 여러 캐릭터를 동시에 조합하여 사용할 수도 있는데, 눈사람 모양의 로봇 ‘BB-8’을 선택하면 화면 가운데에서 데굴데굴 움직이며, 여기에 스톰트루퍼를 추가하면 두 캐릭터가 고유의 움직임을 보이다가 서로 마주하게 되면 서로 커뮤니케이션을 하기 시작함

Ø ‘TIE Fighter’를 선택하면 쌍발 이온 엔진(Twin Ion Engines)으로 비행하는 전투기가 등장하게 되며, 전투기는 이온 엔진 특유의 소리를 내며 비행하고 때때로 레이저 캐논으로 공격을 가함

Ø TIE Fighter에 접근해 근접 촬영을 해보면 전투기 세부까지 극명하게 묘사되어 있음을 알 수 있는데, 기체에 난 손상 흔적이나 모서리의 마모 등이 매우 리얼하게 표현되어 있어 마치 모형을 촬영하고 있는 듯한 느낌을 주며, 이것이 가상의 객체라는 사실이 놀라움을 주고 있음

ž AR스티커는 구글의 AR 앱 개발 플랫폼인 AR코어를 통해 개발되었으며, 구글은 AR코어를 공개하고 있기 때문에, 파트너들도 개발 환경을 이용해 AR 앱을 개발할 수 있음

Ø AR코어가 작년 8월 말에 공개되었기 때문에 현재 이 개발환경을 지원하는 기기는 구글의 픽셀과 픽셀2 및 삼성전자 갤럭시 S8뿐이지만, 올해 출시될 중고사양 안드로이드 스마트폰들은 대부분 AR코어를 지원할 것으로 전망

Ø 따라서 조만간 AR스티커 앱에도 더 많은 팩이 개발되어 제공될 것을 예상해 볼 수 있으며, 스티커 외에 게임, 교육, 커뮤니케이션 등의 분야에서 더 재미있고 참신한 AR 앱들이 속속 선보이며 AR의 대중화를 앞당길 것으로 보임

ž 가상의 콘텐츠를 현실 세계와 통합하는 증강현실을 완벽히 구현하기 위해 구글의 AR코어 플랫폼은 3가지 모듈의 완성도를 높이는 데 주안점을 두고 있음

Ø ‘동작 추적(Motion Tracking)’ 모듈은 현실 세계 속에서 AR 콘텐츠의 위치를 ​​파악하고 스마트 폰으로 콘텐츠를 추적하는 ‘캐릭터의 위치 결정’ 기술임

Ø 카메라의 움직임에 따라 AR코어는 ‘COM(Concurrent Odometry and Mapping, 동시 이동거리측정 및 매핑) 프로세스’를 실행하여 카메라의 위치 관계를 파악하는데, 이미지 안의 특징 포인트 (Feature Point)를 파악해 이들이 어떻게 변하는지 추적하여 공간에서 카메라의 위치를 ​​파악함

Ø AR코어는 특징 포인트의 움직임과 스마트폰의 가속도계 데이터를 결합하여 카메라의 위치와 카메라의 방향을 뜻하는 ‘포즈(Pose)’를 파악하는데, GPS 등의 위치 정보가 없어도 AR코어는 핀 포인트로 위치 파악이 가능함

[그림 3] 증강현실 구현을 위한 AR코어의 3대 모듈 중 동작 추적

Ø ‘환경 이해(Environmental Understanding)’ 모듈은 현실 세계에서 평평한 부분을 감지하고 그 위치와 크기를 파악하는 기술인데, 평평한 부분은 특징 포인트가 공통적으로 수평면을 가지고 있기 때문에 ‘플레인(Plane)’이라 부르며 테이블이나 바닥 등이 대표적 플레인이 됨

Ø AR코어는 플레인의 경계를 파악하게 되는데, 이 정보가 앱에 전달되어 캐릭터가 설 수 있는 장소와 그 범위를 파악할 수 있음

[그림 3] 증강현실 구현을 위한 AR코어의 3대 모듈 중 환경 이해

Ø ‘밝기 측정(Light Estimate)’ 모듈은 현실 세계의 빛의 상태를 파악하는 기술인데, 카메라에 포착된 개체의 평균적인 빛의 강도를 파악하게 됨

Ø 이 밝기 정보를 앱에 전달하여 생성하는 객체를 그와 동일한 밝기로 만들기 때문에, 이런 방식을 통해 생성된 객체는 생생함을 얻게 되고 배경 이미지와 어울리게 됨

Ø 이상의 3개 모듈을 통해 현실 세계를 이해할 수 있게 되면 AR코어는 가상의 객체를 생성하여 이를 현실세계와 통합하는데, 개체는 현실 세계에 적합한 자연스러운 형태로 배치됨

Ø AR코어가 주변 상황을 파악하고 있기 때문에 이용자는 포즈를 바꿀 수 있으며 카메라를 움직여 객체의 주위를 돌면서 혹은 다른 방향에서 촬영할 수 있는데, 가령 X-윙 파이터 주위를 돌며 뒤에서 촬영해도 전투기는 공중에서 호버링 하며 닻으로 고정된 것처럼 그 자리에 머묾

ž 이처럼 픽셀2에서 AR코어를 통해 고급 AR 처리를 실행할 수 있는 것은 픽셀2가 이미지 처리 및 기계학습용 전용 프로세서, 즉 AI 프로세서를 탑재하고 있기 때문임

Ø 픽셀2는 ‘픽셀 비주얼 코어(Pixel Visual Core)’라는 인공지능(AI) 전용 프로세서를 탑재하고 있는데, AR코어는 픽셀 비주얼 코어에서 처리되며 초당 60 프레임을 생성하기 때문에 정밀한 이미지를 만들어 낼 수 있음

Ø 그 결과 세부 디테일까지 상세하게 묘사된 가상의 캐릭터가 이미지 처리 지연 시간 없이 비디오 속에서 자연스럽게 움직임을 보일 수 있고 실물 객체와 분간 할 수 없게 되는 것임

Ø AR 앱 적용에 앞서 픽셀 비주얼 코어 프로세서는 사진 촬영이나 AI 기능에 사용되었는데, 픽셀2의 카메라 앱은 ‘HDR+’라는 기능을 가지고 있으며 다이내믹 레인지의 넓은 사진을 촬영할 수 있고, 이미지 처리에 대량의 연산이 발생하지만 이를 픽셀 비주얼 코어에서 빠르게 처리함

Ø 가령 교회 안에서 희미한 제단을 HDR+ 기능으로 촬영하면 조명을 비춘 것처럼 생생하게 담을 수 있는데, 지금까지는 HDR+ 처리에 시간이 걸리고 많은 전력을 소비했지만 픽셀 비주얼 코어를 탑재해고 있어 이런 작업을 즉각 실행할 수 있음

Ø 픽셀 비주얼 코어는 구글이 설계한 프로세서로 픽셀2 스마트폰의 가속기로 자리매김 되고 있는데, 픽셀2의 메인 프로세서는 퀄컴 스냅드래곤 835이지만 이미지 처리 및 기계학습 실행 시에는 픽셀 비주얼 코어로 작업을 이관하게 됨

Ø 픽셀 비주얼 코어의 개발 환경을 보면, 이미지 처리에서는 이미지 처리용 프로그래밍 언어 ‘할라이드(Halide)’를 지원하며, 기계학습에서는 딥러닝용 오픈소스 소프트웨어 ‘텐서플로우 라이트(TensorFlow Lite)’를 지원함

Ø 픽셀 비주얼 코어는 안드로이드 8.1 오레오(Oreo)부터 사용할 수 있는데, 즉 픽셀2에는 이미 픽셀 비주얼 코어가 탑재되어 있었지만 오레오가 공개된 작년 12월부터 이 프로세서를 사용할 수 있게 된 것이며, 오레오 런치와 함께 AR스티커에서 스타워즈 세트도 제공되기 시작한 것

ž 구글은 안드로이드 8.1을 공개하며 기계학습을 위한 API인 ‘신경망 API(Neural Networks API)’를 공개했는데, 이는 스마트폰이 AI 시스템으로 진화되어 갈 것임을 시사

Ø 개발자들은 신경망 API를 이용해 기계학습 기능을 응용 프로그램에 통합 할 수 있게 되었는데, 신경망 API는 픽셀 비주얼 코어 외에도 GPU 등 프로세서도 지원하고 있음

Ø 텐서플로우 라이트는 경량의 AI 개발 환경에서 교육된 AI 앱을 스마트폰에서 처리하기 위해 사용되는데, 파트너들이 안드로이드용 AI 앱을 개발하고 있어 조만간 스마트폰에서 실시간으로 구동되는 AI의 등장이 기대되고 있음

ž 스마트폰의 AI 프로세서를 통해 현실과 구분하기 어려운 가상의 객체들이 AR로 통합됨에 따라 2018년은 이전과 차원이 다른 AR이 새로운 콘텐츠 미디어로 급부상할 것으로 전망

Ø 구글은 작년 연말부터 스타워즈를 모티브로 한 AR스티커를 텔레비전 방송으로 광고하고 있으며 미국에서 상당한 화제를 모으고 있음

Ø AR스티커의 사회문화적 파급력 역시 결코 작지 않을 것을 예상해 볼 수 있는데, 리얼한 가상 객체를 스마트폰에서 생성할 수 있게 됨에 따라, 지금까지 전문가들의 영역이었던 특수 촬영이 픽셀2를 통해 대중화할 수 있는 계기를 마련했기 때문

Ø 인공지능의 발전에 따라 점점 더 현실과 구분하기 어려운 가상 객체들을 손쉽게 만들 수 있게 되었으며, 이를 스마트폰을 통해 이용할 수 있는 환경이 도래함에 따라 현실과 가상의 세계 구분이 어려운 새로운 콘텐츠 공간이 열리게 되었음

Ø 픽셀2가 보여 준 스타워즈 AR스티커는 포켓몬GO를 통해 대중화된 지금까지의 증강현실 개념을 뛰어넘은 것으로, 현실과 가상을 넘나드는 새로운 앱의 출현을 기대하는 만드는 동시에 점점 더 구분하기 어려운 가짜 뉴스의 확산 등 적잖은 부작용에 대한 우려도 낳고 있음