※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1851호(2018. 6. 20. 발행)에 기고한 원고입니다.


▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

AI로 강화된 이미지 검색 기능 ‘구글 렌즈’의 가능성과 과제.pdf



[ 요 약 ]


구글이 인공지능(AI) 기술을 접목해 이미지 인식 기능이 한층 강화된 구글 렌즈(Goolge Lens)'의 새로운 버전을 발표하였음. 구글 렌즈는 구글이 지난 2010년에 공개했으나 성공하지 못했던 고글 서비스의 업그레이드 버전으로 이미지 검색을 내비게이션, 주소록 관리, 온라인 쇼핑 등으로 곧 바로 연결시킬 수 있음. 구글 렌즈는 현단계 컴퓨터 비전의 최고 수준을 보여주고 있지만, 스마트폰의 제한된 자원으로 AI 분석을 수행하기 때문에 연속 사용시간이 20여분에 불과해 일상적인 이용 서비스가 되기엔 다소 시간이 소요될 전망



[ 본 문 ]

201711월에 구글 렌즈(Google Lens)’를 선보였던 구글이 6개월 만에 기능을 대폭 강화시킨 최신 버전을 내놓았음


구글 렌즈는 기본적으로 증강현실(Augmented Reality) 기능이며, 카메라가 포착한 개체에 정보를 추가하는 구조임


구글 렌즈는 구글의 자체 제작 스마트폰인 픽셀(Pixel) 2’ 등에 탑재되어 있는데, 인공지능 가상비서인 구글 어시스턴트(Google Assistant)’와 연계해 작동하므로, 구글 렌즈를 시작하려면 구글 어시스턴트 화면에서 렌즈 아이콘을 터치하면 됨


구글 렌즈는 앱의 형태로도 제공되기 때문에 플레이스토어에서 다운로드 받아 사용할 수도 있으나, AI 전용 프로세서 등 하드웨어 종속적 측면이 있어 기능을 온전히 이용할 수 있는 스마트폰 기종은 픽셀2, LG G7, 소니 엑스페리아 XZ2 등으로 한정됨


이번에 발표된 구글 렌즈 최신 버전에서는 이미지 검색 기능이 큰 주목을 받고 있는데, 이미지 검색 기술 자체는 새로운 것이 아니나, 고급 AI 기술이 접목되면서 이미지 검색 기능의 정확도가 크게 향상된 것이 특징


이미지 검색 기능은 기술 수준이 향상될수록 활용 분야가 넓어지고 활용 가치도 커지기 때문에 구글 렌즈 최신 버전의 성능에 많은 관심이 모이고 있음


구글 렌즈는 우선 인식 대상이 텍스트임을 알고 이를 문자로 변환할 수 있는데, 그 의미를 이해하기 때문에 연관된 기능을 스스로 하거나 사용자에게 제안할 수 있음


가령 명함을 카메라로 읽으면 그대로 주소록에 등록할 수 있고, 명함에 기재되어 있는 전화번호를 인식하여 곧바로 전화를 걸 수도 있으며, 주소를 인식하면 구글 지도(Google Maps)를 호출하여 해당 위치까지 경로를 탐색할 수 있음


또한 길을 가다 보게 된 포스터에 관심이 있는 가수의 콘서트 안내 내용이 있다면 구글 렌즈를 통해 콘서트의 공연 프로그램과 연락처 정보를 추출할 수도 있음


구글 렌즈는 소위 OCR(광학문자인식)로서 기능하는 것이지만 그 내용의 의미까지 이해하기 때문에 활용가치가 보다 커지는 것임



<자료> Gadget Hacks

[그림 1] 구글 렌즈로 명함과 포스터 인식


구글 렌즈의 이미지 인식 수준은 회화나 조각 등 예술작품을 식별할 수 있을 정도로 높기 때문에 고도의 전문성을 요하는 서비스에도 활용이 가능함


미술관에서는 오디오 가이드를 빌리거나 도슨트의 설명 시간을 기다리는 대신 구글 렌즈에 가이드 역할을 맡길 수 있는데, 구글 렌즈로 그림을 보면 작품의 제목과 개략적 설명이 나타나고, 표시된 링크를 따라 가면 작품 내용에 대한 설명을 읽을 수 있음


예를 들어 인상파 화가 폴 세잔의 그림 샤토 누아(Château-Noir)’나 조각가 오귀스트 로댕의 청동 조작 작품 칼레의 시민(Les Bourgeois de Calais)’을 정확히 인식하고 소개와 연관 정보를 제시해 줌


미술관에서 촬영한 사진을 나중에 구글 렌즈로 볼 때도 비슷한 개요 설명이 표시되는데, 구글 렌즈의 그림에 대한 인식 수준은 아주 높다는 평을 받을 받고 있어, 앞으로 사람들의 미술 감상 스타일이 바뀔 수 있다는 전망도 나오고 있음


<자료> the Verge

[그림 2] 회화와 조각 미술품을 정확히 인식


미술관 도슨트의 역할 대행과 마찬가지로 구글 렌즈는 관광 가이드 역할도 대신할 수 있는데, 랜드마크가 되는 주요 건물과 기념물, 조형물을 인식할 수 있기 때문


주변의 건물 등에 카메라를 비추면 구글 렌즈는 해당 건물을 인식해 그 이름을 표시해 주며 링크 정보를 함께 제공하는데, 가령 구글 본사를 카메라로 찍으면 구글플렉스(Googleplex)’라는 건물명을 정확히 보여 줌


주요 건물을 촬영한 사진을 나중에 구글 렌즈에서 보면 관광했던 장소의 이름과 간략한 소개글을 보여 줌


<자료> the Verge

[그림 3] 유명 랜드마크 건물의 인식


곳곳에 수없이 존재하는 랜드마크를 인식하는 것은 생각보다 고도의 기술을 필요로 하는데, 특히 보는 각도와 그림자의 방향이 다르기 때문에 랜드마크 이미지를 정확히 판정하는 것은 미술품의 판정보다 매우 어려움


현재 구글 렌즈가 정확히 인식할 수 있는 랜드마크의 수는 한정되어 있고 인식 정확도도 완전하지 않아 향후 더욱 기술 개선이 필요한 상황이라고 함


구글 렌즈를 식물도감으로 활용하는 것도 가능해졌는데, 단 화초에 대한 인식 능력의 제법 괜찮은 편이지만 나무와 잎모양에 대한 판정 능력은 아직 크게 떨어지는 편임


카메라로 집 주변이나 유원지에서 찍은 화초 산진을 보면 구글 렌즈는 자스민(Jasmine)’이라거나 하나비시소우(California Poppy)’라는 식으로 알려주기 때문에 휴대형 식물도감으로 사용하는 것도 가능함


식물은 비슷비슷해 보이는 것들이 많기 때문에 판정이 어렵고, 아주 고도의 학습된 신경망이 필요하지만 구글 렌즈로 꽃을 비추면 반응 속도가 빠르며 정답률도 나쁜 편이 아님


반면, 나무나 나뭇잎에 대해서는 알고리즘 교육이 아직 충분치 않은 것인지 인식 능력이 크게 떨어진다는 평을 받고 있음


전반적으로 비록 제한 사항은 있지만 구글 렌즈로 주변 식물의 종류를 일부나마 알 수 있게 된 것은 그 자체로 컴퓨터 비전 기술의 진화를 잘 보여주는 사례라는 반응이 주를 이루고 있음


이처럼 AI와 결합으로 한층 진화된 구글 렌즈의 이마지 인식 성능을 응용하여 구글은 새롭게 스마트 텍스트 선택기능과 스타일 매치기능을 추가하였음


스마트 텍스트 선택(Smart Text Selection)’ 기능은 구글 렌즈로 인식한 텍스트 중에서 특정 부분을 선택하는 기능인데, 가령 레스토랑 메뉴 중에서 무엇인지 잘 몰라 궁금한 요리를 선택하면 구글 렌즈가 그 내용을 설명해 주게 됨프랑스어나 이탈리아어 등으로 적혀 있을 경우에는 선택 후 번역(Translate)’ 버튼을 터치하면 되는데, 요리의 종류가 무엇이고 주요 사용 재료가 무엇인지를 설명해 줌

<자료> Android Authority

[그림 4] 구글 렌즈의 스마트 텍스트 선택


스타일 매치(Style Match)’는 패션과 가구 등을 제안하는 기능인데, 구글 렌즈로 세련된 옷의 사진을 보면 그 옷과 동일하거나 유사한 디자인의 의류 상품을 제시해 주는데, 제시된 상품이 마음에 든다면 곧 바로 구매할 수도 있음


비단 의류만 그런 것은 아니고 신발이나 가방을 보면, 같은 취향의 상품을 표시해 주고 집안에서 구글 렌즈로 가구를 비추어도 유사한 가구 제품을 보여 줌


이미지로 유사 상품을 제안하는 기능은 아마존 등 쇼핑몰에서도 제공하고 있지만, 구글 렌즈는 카메라에서 포착한 라이브 이미지를 실시간으로 영상 분석한 다음 디자인이 비슷한 상품을 검색해 제시하기 때문에 보다 고도의 기술이 필요한 것임



<자료> Digital Trends

[그림 5] 구글 렌즈의 스타일 매치


◾ 구글 렌즈의 새로운 기능을 뒷받침하는 엣지 컴퓨팅 기반 실시간 분석은 현단계 최고 수준의 컴퓨터 비전 기술을 보여주나 배터리 과소모 등 해결해야 할 난제도 남아 있음


기술적 측면에서 구글 렌즈의 가장 큰 기능적 특징은 실시간 결과(Real-Time Results)’라 할 수 있는데, 말 그대로 실시간으로 객체를 파악할 수 있게 해 줌


구글 렌즈가 탑재된 카메라로 주위를 둘러보면 렌즈에 찍힌 객체 주변에 흰 점이 나타나는 것을 볼 수 있는데, 이 점들은 AI로 분석한 영역을 나타내는 것이며 실시간으로 파악한 후 관련된 정보를 표시해 주는 것임, 구글 렌즈는 시스템 아키텍처 상의 맨 끝(엣지, edge)에 위치한 스마트폰에서 AI로 이미지 분석을 수행하고 메타 정보를 클라우드로 전송하여 백엔드에서 검색 프로세스를 실행하는 구조임


<자료> Digital Trends

[그림 6] 구글 렌즈의 실시간 이미지 분석


이미지 분석에서 엣지 컴퓨팅을 사용한 것은 놀라운 일인데, 스마트폰의 제한된 컴퓨팅 자원으로 신경망을 가동시켜 이미지 분석을 수행해야 하는데다가, 빛의 조건이나 촬영 각도에 따라 이미지가 크게 바뀌기 때문에 개체 인식이 어렵기 때문임


구글은 엣지 컴퓨팅을 위해 클라이언트에는 구글이 자체 개발한 이미지 처리 전용 AI 프로세서인 픽셀 비주얼 코어(Pixel Visual Core)’ 탑재를 권장사항으로 하고 있고, 클라우드 상의 AI 처리에는 클라우드 TPU(Cloud TPU)'를 사용하고 있음


구글 렌즈는 클라어언트에서 실시간으로 연속적인 이미지 분석을 수행하는 구조를 갖추고 있어 최고의 컴퓨터 비전이라 할 수 있지만, 단 프로세서에 높은 부하가 발생해 스마트폰의 발열이 심하고 20분 정도 계속하게 되면 배터리가 바닥나는 문제가 있음


구글에 따르면픽셀 비주얼 코어칩이 표준 프로세서보다 속도가 5배 빠르고 전력 소비량은 10분의 1에 불과한데, 그럼에도 불구하고 구글 렌즈의 연속 사용시간이 20분에 불과하다는 것임


바꿔 말해 픽셀 비주얼 코어를 탑재하지 않은 스마트폰이라면 배터리 소모가 더욱 심할 것이기 때문에, 비판적으로 본다면 구글 렌즈는 아직까지는 컨셉에 가깝고 실제 일상적인 스마트폰 기능으로 사용하기엔 아직 요원하다 말할 수도 있음


이는 스마트폰이라는 제한된 컴퓨터 처리 용량과 배터리 용량을 가진 디바이스를 AI 분석의 단말기로 사용하기 때문에 발생하는 것으로 현재로서는 어쩔 수 없는 문제이며, 향후 지속적으로 해결해야 할 과제임


◾ 구글 렌즈는 일종의 증강현실 기반 이미지 검색으로 구글의 핵심 사업인 검색 서비스 강화가 목적으로 보이며, 기술이 안정화된다면 새로운 구글링 도구로 일상에 자리 잡을 전망


구글은 지난 2010년 이미지 검색 스마트폰 앱인 구글 고글(Google Goggles)'을 선보인 바 있지만 폭넓게 확산되지는 못했음


구글 고글은 랜드마크, 도서, 주소록, 예술작품, 장소, 와인, 브랜드 로고 검색을 이미지 검색으로 수행한다는 컨셉으로, 구글 렌즈가 하려는 기능과 사실상 동일함


<자료> Kliker

[그림 7] 구글 고글의 이미지 검색 기능


구글 렌즈는 구글 고글의 후속 사업모델인 셈인데, 고급 AI를 구현하여 검색 정확도가 크게 향상되었기 때문에 구글은 사용 확산은 기대하고 있음


구글 어시스턴트는 단어 검색 질의뿐 아니라 비디오와 이미지 검색 기능 실행을 통해 검색의 폭을 크게 넓히려 하고 있는데, 구글 렌즈는 구글 어시스턴트를 통한 이미지 검색 질의 건수 증가에도 기여할 것으로 보임


이미지 검색의 정확도를 높이고, 그 결과를 전자상거래와 곧 바로 연결한다는 점에서 구글 렌즈는 구글의 핵심 비즈니스에 가장 부합하는 것이라 할 수 있음


사용시간 문제 등 아직은 일상화하기에 부적합한 면이 있지만 구글 렌즈는 다양한 용도로 활용이 가능하기 때문에, 구글링이 일상적 행위로 자리 잡은 것처럼 구글 렌징도 배터리 문제만 해결된다면 이용자들의 일상 속에 녹아들 것으로 전망되고 있음


※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1829호(2018. 1. 17. 발행)에 기고한 원고입니다.


▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

구글 &lsquo;AR 스티커&rsquo; 앱 인기, AI 시스템으로 진화하는 스마트폰.pdf



[ 요 약 ]


가상의 스타워즈 캐릭터들을 등장시켜 비디오와 사진을 촬영할 수 있게 해 주는 구글의 증강현실(AR) 앱 AR 스티커가 큰 인기를 얻고 있음지금까지의 AR과 비교할 수 없을 정도로 사실적인 캐릭터를 스마트폰을 통해 생성하고 있는데이를 가능케 한 것은 스마트폰 전용 인공지능(AI) 프로세서로 리얼한 AR 구현에 필요한 대규모 연산을 지연 없이 즉각 처리할 수 있음. AI 엔진으로도 사용되는 이 프로세서가 탑재되며 스마트폰이 AI 시스템으로 진화할 것이 보다 명확해지고 있음



[ 본 문 ]


ž 구글의 새로운 증강현실 기술인 ARCore에 기반을 둔 첫번째 앱 AR Stickers(스티커)2012 12픽셀(Pixel) 2 스마트폰 전용의 카메라 앱으로 투입되었음


Ø 2014년에 구글은 증가현실 기술 프로젝트 탱고(Tango)를 발표했는데 이 기술은 전용 렌즈를 따로 구비해야 하는 번거로움이 있었고, 그래서 탱고를 지원하는 스마트폰 기기가 레노버의 팹플러스2와 아수스의 젠폰AR 등 극소수에 불과했음


Ø 구글이 프로젝트 탱고의 문제로 고민할 즈음 애플은 작년 6월 전용 렌즈 필요 없이 아이폰 만으로 AR을 구현하는 ARKit 기술을 선보였고, 이 방향이 보다 대중적이라 판단한 구글은 얼마 후에 그와 유사한 ARCore 기술을 공개하며 프로젝트 탱고는 2018 3월 종료한다고 발표


Ø 애플에 비해 조금 늦긴 했지만 구글의 AR코어는 발표 당시 큰 기대를 모았는데, 이를 이용한 첫번째 증강현실 앱으로 선보인 AR Stickers는 기대를 저버리지 않았다는 호평을 이끌어 냈음


Ø 이미 많은 스마트폰에서 비디오나 사진을 개체 또는 텍스트와 증강현실로 통합해 주는 AR 앱을 사용할 수 있지만 AR스티커의 특징은 높은 정밀도로 증강현실을 구현하고 있다는 것으로 현실과 가상 공간의 구분을 없앴다는 평을 받고 있음


ž AR스티커 앱은 픽셀2 스마트폰의 카메라를 이용하기 때문에, 이용하려면 우선 안드로이드 8.1을 설치하고, 앱 업데이트를 통해 AR코어AR스티커를 다운로드 받아야 함


Ø 다운로드 후 구글 카메라 앱을 사이드 메뉴에 열게 되면 새롭게 추가된 AR Stickers 옵션이 보이는데, 이를 탭한 다음 몇 가지 설정을 해주어야 함


Ø 스티커가 나타나게 하고 싶은 평평한 공간으로 카메라 렌즈를 향하게 한 후 스마트폰을 몇 번 회전시키면 카메라가 공간을 분석하게 되는데, 이 공간 인식 과정은 오로지 카메라에만 의존하며 다른 특별한 센서는 필요로 하지 않음


Ø 픽셀2 스마트폰이 공간 매핑 작업을 끝내면 스티커를 붙일 수 있는데, 현재 Star Wars, Stranger Things, Foodmoji, Text, Blocks 5가지 팩이 제공되고 있음


<자료> CNET


[그림 1] 픽셀2의 카메라 앱에 추가된 AR Stickers 옵션과 푸드모지(Foodmoji) 캐릭터 추가


Ø 스티커 캐릭터를 가져온 다음 아이템에 따라 터치 컨트롤을 이용해 화면에 맞게 크기를 늘리거나 줄일 수 있으며 원하는 공간으로 이동시킬 수 있고, 세팅이 끝나고 나면 비디오 녹화 혹은 사진 촬영을 할 수 있음


Ø AR스티커는 현재 자동 초점(autofocus)이나 탭으로 초점 맞추기(tap-to-focus) 기능은 제공하고고 있지 않으며, 향후 픽셀 1에서도 이용할 수 있게 할 지 여부는 공개되지 않고 있음


ž AR스티커는 다양한 세트를 제공하고 있지만, 영화 스타워즈 최신 시리즈 라스트 제다이(Star Wars: The Last Jedi)의 캐릭터들이 가장 큰 인기를 누리고 있음


Ø 스타워즈 세트를 선택하면 영화에 등장하는 여러 캐릭터를 비디오에 넣을 수 있는데, 가령 은하 제국군 기동 보병인 스톰트루퍼(Stormtrooper)를 선택해 비디오에 배치 할 수 있음


Ø 촬영을 시작하면 스톰트루퍼가 움직이며 소리를 내는데, 하나가 아니라 여러 스톰트루퍼를 배치할 수도 있으며 각 객체는 독립적으로 움직임을 보이게 되는데, 이들 기동 보병은 매우 사실적으로 묘사되어 있고 움직임이 자연스럽고 부드러워 실제 캐릭터와 분간이 어려움


<자료> TechAcute


[그림 2] 스타워즈 스티커 세트 중 스톰트루퍼를 이용한 AR 비디오


Ø 동맹 반군의 전투기인 'X-윙 파이터(X-wing Fighter)를 선택하면 가변 날개를 X자 모양으로 펼친 상태에서 공중을 호버링하는데, 전투기는 주위 배경의 밝기에 따라 지상에 그림자를 드리우기 때문에 배경과 하나로 합쳐져 가상 이미지라는 느낌을 전혀 주지 않음


<자료> TechAcute


[그림 2] 스타워즈 스티커 세트 중 X-윙 파이터를 이용한 AR 비디오


Ø 여러 캐릭터를 동시에 조합하여 사용할 수도 있는데, 눈사람 모양의 로봇 BB-8을 선택하면 화면 가운데에서 데굴데굴 움직이며, 여기에 스톰트루퍼를 추가하면 두 캐릭터가 고유의 움직임을 보이다가 서로 마주하게 되면 서로 커뮤니케이션을 하기 시작함


Ø TIE Fighter를 선택하면 쌍발 이온 엔진(Twin Ion Engines)으로 비행하는 전투기가 등장하게 되며, 전투기는 이온 엔진 특유의 소리를 내며 비행하고 때때로 레이저 캐논으로 공격을 가함


Ø TIE Fighter에 접근해 근접 촬영을 해보면 전투기 세부까지 극명하게 묘사되어 있음을 알 수 있는데, 기체에 난 손상 흔적이나 모서리의 마모 등이 매우 리얼하게 표현되어 있어 마치 모형을 촬영하고 있는 듯한 느낌을 주며, 이것이 가상의 객체라는 사실이 놀라움을 주고 있음



ž AR스티커는 구글의 AR 앱 개발 플랫폼인 AR코어를 통해 개발되었으며, 구글은 AR코어를 공개하고 있기 때문에, 파트너들도 개발 환경을 이용해 AR 앱을 개발할 수 있음


Ø AR코어가 작년 8월 말에 공개되었기 때문에 현재 이 개발환경을 지원하는 기기는 구글의 픽셀과 픽셀2 및 삼성전자 갤럭시 S8뿐이지만, 올해 출시될 중고사양 안드로이드 스마트폰들은 대부분 AR코어를 지원할 것으로 전망


Ø 따라서 조만간 AR스티커 앱에도 더 많은 팩이 개발되어 제공될 것을 예상해 볼 수 있으며, 스티커 외에 게임, 교육, 커뮤니케이션 등의 분야에서 더 재미있고 참신한 AR 앱들이 속속 선보이며 AR의 대중화를 앞당길 것으로 보임


ž 가상의 콘텐츠를 현실 세계와 통합하는 증강현실을 완벽히 구현하기 위해 구글의 AR코어 플랫폼은 3가지 모듈의 완성도를 높이는 데 주안점을 두고 있음


Ø 동작 추적(Motion Tracking) 모듈은 현실 세계 속에서 AR 콘텐츠의 위치를 ​​파악하고 스마트 폰으로 콘텐츠를 추적하는 캐릭터의 위치 결정 기술임


Ø 카메라의 움직임에 따라 AR코어는 COM(Concurrent Odometry and Mapping, 동시 이동거리측정 및 매핑) 프로세스를 실행하여 카메라의 위치 관계를 파악하는데, 이미지 안의 특징 포인트 (Feature Point)를 파악해 이들이 어떻게 변하는지 추적하여 공간에서 카메라의 위치를 ​​파악함


Ø AR코어는 특징 포인트의 움직임과 스마트폰의 가속도계 데이터를 결합하여 카메라의 위치와 카메라의 방향을 뜻하는 포즈(Pose)를 파악하는데, GPS 등의 위치 정보가 없어도 AR코어는 핀 포인트로 위치 파악이 가능함


[그림 3] 증강현실 구현을 위한 AR코어의 3대 모듈 중 동작 추적


Ø 환경 이해(Environmental Understanding) 모듈은 현실 세계에서 평평한 부분을 감지하고 그 위치와 크기를 파악하는 기술인데, 평평한 부분은 특징 포인트가 공통적으로 수평면을 가지고 있기 때문에 플레인(Plane)이라 부르며 테이블이나 바닥 등이 대표적 플레인이 됨


Ø AR코어는 플레인의 경계를 파악하게 되는데, 이 정보가 앱에 전달되어 캐릭터가 설 수 있는 장소와 그 범위를 파악할 수 있음


[그림 3] 증강현실 구현을 위한 AR코어의 3대 모듈 중 환경 이해


Ø 밝기 측정(Light Estimate) 모듈은 현실 세계의 빛의 상태를 파악하는 기술인데, 카메라에 포착된 개체의 평균적인 빛의 강도를 파악하게 됨


Ø 이 밝기 정보를 앱에 전달하여 생성하는 객체를 그와 동일한 밝기로 만들기 때문에, 이런 방식을 통해 생성된 객체는 생생함을 얻게 되고 배경 이미지와 어울리게 됨


<자료> Google


[그림 3] 증강현실 구현을 위한 AR코어의 3대 모듈 중 밝기 측정


Ø 이상의 3개 모듈을 통해 현실 세계를 이해할 수 있게 되면 AR코어는 가상의 객체를 생성하여 이를 현실세계와 통합하는데, 개체는 현실 세계에 적합한 자연스러운 형태로 배치됨


Ø AR코어가 주변 상황을 파악하고 있기 때문에 이용자는 포즈를 바꿀 수 있으며 카메라를 움직여 객체의 주위를 돌면서 혹은 다른 방향에서 촬영할 수 있는데, 가령 X-윙 파이터 주위를 돌며 뒤에서 촬영해도 전투기는 공중에서 호버링 하며 닻으로 고정된 것처럼 그 자리에 머묾


ž 이처럼 픽셀2에서 AR코어를 통해 고급 AR 처리를 실행할 수 있는 것은 픽셀2가 이미지 처리 및 기계학습용 전용 프로세서, AI 프로세서를 탑재하고 있기 때문임


Ø 픽셀2픽셀 비주얼 코어(Pixel Visual Core)라는 인공지능(AI) 전용 프로세서를 탑재하고 있는데, AR코어는 픽셀 비주얼 코어에서 처리되며 초당 60 프레임을 생성하기 때문에 정밀한 이미지를 만들어 낼 수 있음


Ø 그 결과 세부 디테일까지 상세하게 묘사된 가상의 캐릭터가 이미지 처리 지연 시간 없이 비디오 속에서 자연스럽게 움직임을 보일 수 있고 실물 객체와 분간 할 수 없게 되는 것임


Ø AR 앱 적용에 앞서 픽셀 비주얼 코어 프로세서는 사진 촬영이나 AI 기능에 사용되었는데, 픽셀2의 카메라 앱은 HDR+라는 기능을 가지고 있으며 다이내믹 레인지의 넓은 사진을 촬영할 수 있고, 이미지 처리에 대량의 연산이 발생하지만 이를 픽셀 비주얼 코어에서 빠르게 처리함



Ø 가령 교회 안에서 희미한 제단을 HDR+ 기능으로 촬영하면 조명을 비춘 것처럼 생생하게 담을 수 있는데, 지금까지는 HDR+ 처리에 시간이 걸리고 많은 전력을 소비했지만 픽셀 비주얼 코어를 탑재해고 있어 이런 작업을 즉각 실행할 수 있음


<자료> ITPro


[그림 5] AI 프로세서로 처리한 픽셀2 HDR+


Ø 픽셀 비주얼 코어는 구글이 설계한 프로세서로 픽셀2 스마트폰의 가속기로 자리매김 되고 있는데, 픽셀2의 메인 프로세서는 퀄컴 스냅드래곤 835이지만 이미지 처리 및 기계학습 실행 시에는 픽셀 비주얼 코어로 작업을 이관하게 됨


Ø 픽셀 비주얼 코어의 개발 환경을 보면, 이미지 처리에서는 이미지 처리용 프로그래밍 언어 할라이드(Halide)를 지원하며, 기계학습에서는 딥러닝용 오픈소스 소프트웨어 텐서플로우 라이트(TensorFlow Lite)를 지원함


Ø 픽셀 비주얼 코어는 안드로이드 8.1 오레오(Oreo)부터 사용할 수 있는데, 즉 픽셀2에는 이미 픽셀 비주얼 코어가 탑재되어 있었지만 오레오가 공개된 작년 12월부터 이 프로세서를 사용할 수 있게 된 것이며, 오레오 런치와 함께 AR스티커에서 스타워즈 세트도 제공되기 시작한 것


ž 구글은 안드로이드 8.1을 공개하며 기계학습을 위한 API신경망 API(Neural Networks API)를 공개했는데, 이는 스마트폰이 AI 시스템으로 진화되어 갈 것임을 시사


Ø 개발자들은 신경망 API를 이용해 기계학습 기능을 응용 프로그램에 통합 할 수 있게 되었는데, 신경망 API는 픽셀 비주얼 코어 외에도 GPU 등 프로세서도 지원하고 있음


Ø 텐서플로우 라이트는 경량의 AI 개발 환경에서 교육된 AI 앱을 스마트폰에서 처리하기 위해 사용되는데, 파트너들이 안드로이드용 AI 앱을 개발하고 있어 조만간 스마트폰에서 실시간으로 구동되는 AI의 등장이 기대되고 있음


ž 스마트폰의 AI 프로세서를 통해 현실과 구분하기 어려운 가상의 객체들이 AR로 통합됨에 따라 2018년은 이전과 차원이 다른 AR이 새로운 콘텐츠 미디어로 급부상할 것으로 전망


Ø 구글은 작년 연말부터 스타워즈를 모티브로 한 AR스티커를 텔레비전 방송으로 광고하고 있으며 미국에서 상당한 화제를 모으고 있음


Ø AR스티커의 사회문화적 파급력 역시 결코 작지 않을 것을 예상해 볼 수 있는데, 리얼한 가상 객체를 스마트폰에서 생성할 수 있게 됨에 따라, 지금까지 전문가들의 영역이었던 특수 촬영이 픽셀2를 통해 대중화할 수 있는 계기를 마련했기 때문


Ø 인공지능의 발전에 따라 점점 더 현실과 구분하기 어려운 가상 객체들을 손쉽게 만들 수 있게 되었으며, 이를 스마트폰을 통해 이용할 수 있는 환경이 도래함에 따라 현실과 가상의 세계 구분이 어려운 새로운 콘텐츠 공간이 열리게 되었음


Ø 픽셀2가 보여 준 스타워즈 AR스티커는 포켓몬GO를 통해 대중화된 지금까지의 증강현실 개념을 뛰어넘은 것으로, 현실과 가상을 넘나드는 새로운 앱의 출현을 기대하는 만드는 동시에 점점 더 구분하기 어려운 가짜 뉴스의 확산 등 적잖은 부작용에 대한 우려도 낳고 있음