※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1876호(2018. 12. 12. 발행)에 기고한 원고입니다.


▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

구글, 베르메르 작품을 한 번에 감상하는 AR 미술관 ‘포켓 갤러리’ 공개.pdf



구글은 AR 미술관 앱인 ‘Google Arts & Culture’를 업데이트하고 요하네스 베르메르의 작품을 한꺼번에 감상 할 수 있는 포켓 갤러리(Pocket Gallery)’ 기능을 새롭게 탑재


1990년 보스턴의 이사벨라 스튜어트 가드너 미술관에서 요하네스 베르메르 작품 ‘The Concert(콘서트)’를 포함 시가 5억 달러 상당의 그림이 도난당하는 사건이 발생한 바 있음


콘서트를 제외한 17 점의 베르메르의 걸작들은 현재 전세계 7개 나라의 박물관에 보관되어 있는데, 작품을 감상할 수는 있지만 한꺼번에 보는 것은 불가능하기 때문에 각국을 직접 돌아다녀야 함


구글은 네덜란드의 마우리츠하위스(Mauritshuis) 박물관과 베르메르의 유산을 보호하는 문화 단체와 협력하여 Google Arts & Culture에 신기능 포켓 갤러리를 추가하고 스마트폰을 이용해 AR 공간에서 베르메르 작품을 한자리에 모으는 데 성공


<자료> Google

[그림 1] AR 미술관 포켓 갤러리’ 실행 화면


포켓 갤러리에서 감상 할 수 있는 베르메르 작품은 진주 귀고리를 한 소녀를 포함해 36


감상 가능한 작품은 36점 중에는 플루트를 가진 여자등 가이드 투어가 준비된 작품도 있고, 그 중 8점은 특별히 제작된 초고해상도 로봇 카메라에 의해 촬영되었기 때문에 최고 해상도로 감상이 가능하다고 함



포켓 갤러리는 플레이스토어나 앱스토어에서 ‘Google Arts & Culture’ 앱을 다운받아 사용할 수 있으며, 안드로이드 버전은 ARCore, iOS 버전은 ARKit을 지원하는 단말기가 필요




※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1871호(2018. 11. 7. 발행)에 기고한 원고입니다.


▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

시각에서 오감으로, 포켓몬 GO 개발사 나이앤틱이 전망하는 AR의 미래.pdf



AR(증강현실) 기술을 이용한 게임 포켓몬 고(Pokémon GO)’를 개발한 나이앤틱(Niantc)10월 말 열린 이노베이션 도쿄 2018’ 행사에 참가해 새로운 AR 서비스들을 선보였음


이 행사에서는 포켓몬 고와 그 기반이 된 인그레스(Ingress)’ 게임과 관련한 다양한 전시와 볼거리가 선보였는데, 그 중에서도 AR의 미래를 위한 나이앤틱의 노력을 상징적으로 보여준 포켓몬 고 AR 정원(garden)’이 많은 사람의 눈길을 끌었음


이 놀이는 롯폰기힐즈에 있는 모리 정원을 산책하면서 포켓몬의 목소리를 탐지해 포켓몬을 찾는 것으로, 잡은 다음에는 잔디밭에 풀어 놓을 수도 있고 스마트폰을 탭하면 포켓몬이 반응하기도 하는데, 이 기능은 향후 포켓몬 고에 구현될 예정이라고 함


현재 포켓몬 고는 몬스터를 박스 안에 잡아 가두는 것에서 재미를 주며, 잡은 것을 밖으로 꺼내는 기능은 없는데, 이용자가 포켓몬과 상호작용하는 재미를 추가한 것임




나이앤틱은 AR 가든에 대해, 시각에 초점을 맞추기 쉬운 AR의 경험을 귀로 확장하여, 소리를 통해 정원의 매력을 재발견해주면 좋겠다는 뜻을 밝히고 있음


AR 가든은 포켓몬 고처럼 스톤을 던져 몬스터를 잡는 것이 아니라 녹음을 통해 잡게 되는데, 소리를 따라 포켓몬에 다가가면 그림자로 되어 있는 포켓몬에 녹음 가능이라는 마크가 뜨고 녹음 버튼을 누르면 포획이 됨


<자료> SoraNews24

[그림 1] 포케몬 고 AR 가든의 전용 단말기


소리로 잡다 보니 AR 가든은 스마트폰에 커다란 집음기를 붙인 형태의 전용 단말기와 함께 앰비(ambie)’라는 이어폰을 사용해 플레이 하게 됨


집음기보다 주목해야 할 것은 앰비 이어폰인데, 앰비는 귓구멍을 막지 않고 귀찌처럼 귓바퀴에 물리는 형태의 이어폰이어서 이용자는 정원에서 들리는 자연의 소리와 이어폰을 통해 들리는 포켓몬 소리를 동시에 들을 수 있음



<자료> ambie

[그림 2] 귀찌 형태의 이어폰 앰비(ambie)


포켓몬 고 게임이 스마트폰 이용자들을 집 밖으로 끌어내기 위해 만든 것이었다면, AR 가든 기능은 여기서 좀 더 나아가 자연의 소리를 듣는 재미를 느끼게 함으로써 집 밖으로 나가려는 유인을 더욱 강화하기 위해 고안된 것으로 볼 수 있음


나이앤틱은 이전부터 시각뿐만 아니라 청각, 촉각 등 오감을 활용한 AR’의 실현을 목표로 내세운 바 있는데, AR 가든 기능은 그러한 방향으로 가는 중간단계의 산물인 것임


한편 이번 행사에서는 AR 가든 외에 프로젝트 네온(Project NEON)’ 게임도 선보였는데, 이는 여러 사람이 동일한 AR 공간을 공유하는 것으로 나이앤틱의 철학을 보여주는 또 하나의 사례임


나이앤틱은 포켓몬 고와 인그레스 등의 게임에서 여러 명의 플레이어가 동시에 AR과 위치 정보를 활용하는 콘텐츠 제공 기술을 개발해 오고 있음


나이앤틱은 올해 6리얼 월드 플랫폼(Real World Platform)’ 계획을 발표한 바 있는데, 이는 AR 공간 공유 기술을 다른 기업에도 제공함으로써 멀티 플레이어가 동시에 즐기는 고급 AR 콘텐츠 개발의 촉진을 목적으로 함


현 시점에서는 아직 일부 파트너로 한정하여 개발을 진행하고 있는 단계이지만, 앞으로 많은 기업이나 조직에 개방한다는 계획임


이번 행사에 공개된 프로젝트 네온은 바로 리얼 월드 플랫폼을 이용해 개발한 게임인데, 스마트폰을 이용해 6명이 동시에 플레이하는 AR 게임으로 땅에 떨어져 있는 흰 공을 모아 이를 다른 다른 플레이어를 맞추는 방식임

<자료> Business Insider

[그림 3] 멀티 플레이어 AR 게임 프로젝트 네온


프로젝트 네온은 단순한 게임이지만, 이전까지 서로 다른 플레이어가 동일한 AR 공간을 공유하게 하려면 대규모 시설에 전용 설비를 준비할 필요가 있었던 것과 달리, 수중에 스마트폰만 있으면 실시간으로 플레이 할 수 있다는 점에서 획기적인 것임


보다 간편하게 AR 게임을 멀티로 즐길 수 있게 된 것으로, 이 역시 AR 게임을 통해 사람들 간의 오프라인 소통을 확대하여 게임(중독)으로부터 벗어나게 하겠다는 나이앤틱의 철학이 반영된 것으로 볼 수 있음


나이앤틱의 존 행키 CEOAR은 아직 여명기의 기술이지만 가능성이 무궁한 기술이라며, 게임 개발에 머무르지 않고 다양한 서비스를 개발하여 대중적으로 확산시키겠다는 뜻을 밝혔음


존 행키는 AR은 성공이 확실하지만 아직 여명기에 있는 기술이고, 게임은 기술이 완전하지 않아도 서비스를 제공할 수 있으며 진화를 촉진할 수도 있기 때문에, 단기적으로는 대중적인 스마트폰용 AR 게임에 주력할 생각임을 밝혔음


그러나 존 행키는 AR의 잠재력이 5인치 스마트폰에 머무르지 않는다 말함으로써, 앞으로 AR에 보다 적합한 기기가 나타나 스마트폰을 넘어설 가능성을 염두에 두고 있음을 시사


※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1853호(2018. 7. 4. 발행)에 기고한 원고입니다.


▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

2D 축구 경기 영상을 증강현실(AR)로 재현해 주는 신기술 개발.pdf



워싱턴 대학 연구팀은 구글, 페이스북과 협업을 통해 일반 2D 축구 경기 영상을 변환해 테이블 위에서 마치 실제 축구가 벌어지는 듯이 보여주는 증강현실(AR) 기술을 개발


연구팀은 솔트레이크 시티에서 열린 컴퓨터 비전 및 패턴 인식 컨퍼런스(Computer Vision and Pattern Recognition conference)’에서 탁자 위의 축구(Soccer On Your Tabletop)’라는 새로운 기술을 발표


이 기술은 2D 축구 영상을 입력받아 3D로 재구축한 후 탁자 등 평면 위에 투사해 주는 것으로, 이용자가 AR 헤드셋을 착용해 이 3D 경기 영상을 볼 수 있음


연구팀은 이 기술을 이용하면 직접 경기장에 가서 경기를 보는 것만큼 좋지는 않지만 TV를 통해 경기를 보는 것 보다는 더 나은 경험을 얻을 수 있다고 주장

 


<자료> Konstantinos Rematas

[그림 1] AR 기반 기술 탁자 위의 축구


탁자 위의 축구시스템은 입력된 경기 비디오를 면밀히 분석한 구 각 선수와 그들의 움직임을 개별적으로 추적함


그 다음 각 선수들의 움직임은 축구 비디오 게임에서 추출한 3D 모델로 매핑되며, 3D로 표현된 경기장 위에 배치되는데, 기본적으로 FIFA 18과 같은 게임을 실제 현실과 결합하여 일종의 미니어처를 만들어 낸 것이라 보면 됨


PC용 축구 게임에서 추출한 선수 데이터를 3D 공간에 재배치하는 작업은 컨볼루셔널 뉴럴 네트워크(CNN)’라는 딥러닝 알고리즘이 담당함


탁자 위의 축구는 아직 개발 도중에 있지만, 2D 영상을 모든 방향과 각도에서 볼 수 있는 입체 영상으로 재구성한다는 아이디어에는 큰 기대와 호평이 쏟아졌음


대략적인 기술 프로세스를 살펴보면, 우선 축구 경기장에는 흰색 라인이 그어져 있으므로 이를 카메라 보정에 사용하는데, 라인 선상 위에 늘어선 선수들을 감지해 각 선수의 몸의 움직임을 추정한 다음 그 앞뒤에 있는 선수의 움직임을 추적함


각 선수들의 동작 추적에서는 포즈의 심도까지 추정 가능하므로, 좌우의 어느 다리가 앞쪽에 있는지 등도 알 수 있음


마지막으로 메쉬를 생성하고 경기에 출전한 선수들의 데이터를 이용하여 경기 자체를 재구성하면, 마치 책상 위에서 축구 경기가 펼쳐지는 듯한 AR 경험을 제공할 수 있음


<자료> TechCrunch

[그림 2] AR 기반 3D 재구성 기술


탁자 위의 축구는 아직 개발 중인 만큼 선수의 움직임 등이 정확하게 재현되는 것이 아니며 해상도 역시 아직 완성도가 많이 떨어지지만, 한 각도의 영상을 모든 각도에서 볼 수 있는 입체 영상에 재구성 할 수 있다는 것은 멋진 아이디어라는 평가


축구 경기를 TV로 볼 때 나쁜 점은 모든 사람이 앉아서 단일 방향의 각도에서 잡은 똑같은 화면만을 바라보아야 한다는 것이고, 카메라에 잡히지 않은 장면은 알 수가 없기 때문에 작전과 전술을 이해하고 분석할 수 없다는 것임


이는 경기장에 직접 갈 경우 자리에 따라서 관객들이 보는 장면이 다 다르고, 모든 선수들의 움직임을 알 수 있는 관람 경험과 비교할 때 매우 아쉬운 점인데, 새로 선보인 탁자 위의 축구는 이런 문제를 해소할 수 있음


탁자 위의 축구기술의 소스코드는 현재 깃허브에 공개되어 있음(https://github.com/krematas/soccerontable)

※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1832호(2018. 2. 7. 발행)에 기고한 원고입니다.


▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

세번째 투자 물결이 도래하고 있는 2018년의 VR∙AR 시장.pdf



[ 요 약 ]


2015년 초와 2016년 말에 이어, 2017년 말부터 VR(증강현실) AR(증강현실시장에는 세번째로 투자가 쇄도할 조짐이 나타나고 있음. 2017년 하반기에 애플과 구글이 연이어 AR 개발환경을 발표함에 따라 AR에 관심이 더 집중될 것으로 보이나, VR 시장 역시 PC에서 자유로운 저가의 일체형 HMD를 내놓으며 또 한 번 새로운 모멘텀을 준비하고 있음진전된 기술 환경이 벤처 투자와 맞물리며 2018년이 진정한 VRAR의 원년이 될 수 있을지 관심이 모이고 있음



[ 본 문 ]


ž 투자자들의 움직임은 업계의 미래를 가늠해보는 지표가 되므로 2015년경부터 활발해진 VRAR 분야에 대한 투자 동향을 살펴보면 2018 VRAR 산업 동향을 전망해 볼 수 있음


Ø 유행과 기술에 민감한 투자자들은 산업의 미래를 상상하면서 투자하기 때문에 그들이 주목하고 있는 투자 영역을 추적해 보면 향후 유망 산업을 알 수 있는 팁이 발견됨


Ø 스타트업에 전문적으로 투자하는 벤처캐피탈(VC)은 크게 두 가지 유형으로 분류할 수 있는데, 하나는 기관 투자자들로부터 자금을 모아 투자하는 VC로 구글과 페이스북의 초창기를 지원했던 세쿼이아 캐피탈액셀 파트너스 등이 대표적


Ø 또 하나는 현재 비즈니스를 영위하고 업체가 설립한 기업 벤처캐피탈(CVC, Corporate VC), 외부의 지식과 기술을 도입하려는 오픈 이노베이션이 유행을 타면서 최근 CVC를 설립하려는 기업들이 잇따르고 있음


Ø CVC들은 자금 측면의 지원에 한정하지 않고 스타트업들에게 사업 제휴, 중개 및 마케팅 지원 등을 제공하기 때문에 종종 전략적 투자자(Strategic Investors, SI)라고도 불림


Ø 2015년 이후 지금까지 최근 3 년간을 놓고 보면 VRAR 관련 스타트업에 대한 투자에는 크게 3번의 큰 흐름이 있었는데, 이 변화의 흐름을 잘 따라가다 보면 2018년이 진정한 VR AR 시장의 원년이 될 것인지 가늠해볼 수 있을 것임



<자료> Digi Capital

[그림 1] 2011~2017분기별 VRAR 투자금액 추이


ž 첫번째 투자 물결이 일어난 것은 2015년 초반인데, 이 때는 VR 헤드마운트디스플레이(HMD)를 둘러싼 움직임이 본격적으로 활기를 띤 시기였음


Ø 페이스북이 오큘러스VR을 인수한 것과 소니 인터랙티브 엔터테인먼트가 VR HMD플레이스테이션(PlayStation) VR을 발표한 것은 2014 3월이었으며, 이후 1년 후인 2015 3월에 HTC와 밸브(Valve)가 공동 개발한 HMD 기기 바이브(Vive)가 발표되었음


Ø 첫번째 투자 물결을 타고 인텔과 퀄컴 등 반도체 업체의 CVCVR AR 분야의 하드웨어 스타트업에 적극적으로 투자하기 시작하였음


Ø 인텔은 AR 글래스의 선구적 존재인 뷰직스(Vuzix)에 투자했으며, AR 글래스를 생산하던 레콘 인스트루먼트(Recon Instruments)를 인수한 바 있음


Ø 퀄컴은 CVC인 퀄컴 벤처스를 통해 부동산 업계에서 3D 캡처 사업을 하는 매터포트(MatterPort)에 출자했으며, 2014 10월에는 획기적 AR 기술로 기대를 모으고 있는 매직리프(MagicLeap)에 투자하였음


Ø 구글의 CVC 인 구글 벤처스 역시 2014년 중반부터 360도 동영상의 선구자인 존트(Jaunt) VR 공간에서 소셜 네트워크를 만드는 알트스페이스(AltSpace) VR 등의 스타트업에 잇따라 투자했는데 알트스페이스VR2017 10월 마이크로소프트에 인수된 바 있음


<자료> Mod DB

[그림 2] 소셜 VR 플랫폼 알트스페이스


Ø IT 기업 외에 VRAR 영역에 적극 투자하고 있는 곳은 컴캐스트(Comcast)인데, 컴캐스트는 케이블 TV로 사업을 시작해 2009년에 미디어 대기업 NBC 유니버설을 인수했고, 현재는 지상파, 영화 제작, 테마파크 사업도 품고 있는 거대 미디어 기업으로 성장했음


Ø 컴캐스트의 관심은 하드웨어가 아닌 콘텐츠에 있는데, CVC인 컴캐스트 벤처스를 통해 구글 벤처스가 투자한 알트스페이스VR, 360도 동영상으로 스포츠 영상을 전달하는 넥스트(Next) VR에 투자하였음


Ø 그 밖에 컴캐스트 벤처스는 VR 애니메이션을 제작하는 바오밥(Baobab) 스튜디오, 360도 동영상 콘텐츠 제작을 다루는 펠릭스 & (Felix & Paul) 스튜디오, 테마파크용 VR 어트랙션을 개발하는 스페이스(Spaces) 등에도 투자하고 있음


ž 2015년에 일어난 첫번째 VRAR 투자 물결에서는 액셀러레이터라는 VC의 활동도 눈에 띄었는데, 최근 5년간 투자금액 기준 VRAR 분야의 큰 손은 액셀러레이터들이었음


Ø 액셀러레이터는 스타트업 중에서도 창업한 지 얼마 되지 않은 초기 단계의 기업에 한정하여 투자하는 VCY 콤비네이터(Combinator)500 Startups 등이 대표적


Ø 액셀러레이터들은 통상 3~6 개월 동안의 창업지원 프로그램을 통해 자금 지원 이외에도 고객 및 우수한 인재의 연계, 다른 투자자와 중개 등을 지원하고 있는데, 최근 5년간 VRAR 스타트업에 가장 많이 투자한 톱3는 모두 액셀러레이터라는 공통점이 있음


Ø 그 중에서도 가장 많은 금액을 투자한 액셀러레이터는 로텐버그 벤처스(Rothenburg Ventures), 이 회사는 시드 스테이지(seed stage, 회사 설립 전 준비기간)의 스타트업에 투자 초점을 맞추고 있음


Ø CVC 이외의 투자자들이 VRAR 분야에 거의 눈길을 주지 않았던 2014년 말, 로텐버그 벤처스는 이 분야에 특화된 세계 최초의 액셀러레이터 프로그램 리버 액셀러레이터(River Accelerator)를 발표하였음


Ø 이 프로그램은 매년 10~15개의 VR AR 스타트업을 받아들이고 있는데, 지금까지 30개 이상의 스타트업이 졸업하였으며, 졸업한 기업들은 글로벌 대기업으로부터 추가 투자를 유치하는 등 성과를 거두고 있음


Ø 투자금액 기준 2위는 실리콘밸리에 본사를 둔 액셀러레이터 부스트(Boost) VC인데, 로텐버그 벤처스의 성공을 본 이후 2015년 후반기부터 VRAR 분야 투자에 집중하고 있음



Ø 가장 주목해야 할 액셀러레이터는 투자금액 기준 3위인 바이브(Vive)X인데, 세계적 VR HMD 업체인 HTC 2016 4월에 시작한 액셀러레이터이기 때문


<자료> Haptical

[그림 3] HTC의 액셀러레이터 바이브X


Ø 바이브X 프로그램은 HTC로서는 차세대 유망 기술 및 콘텐츠의 발굴이라는 장점이, 참여하는 스타트업에게는 자금 유치 외에 사업 제휴 기회 만들기가 용이하다는 장점이 있음


Ø 베이징, 선전, 샌프란시스코, 타이페이, 텔아비브 등 전 세계 5개 도시에서 프로그램을 전개하고 있는 바이브X는 현재 가장 영향력 있는 VRAR 액셀러레이터라 할 수 있음


ž 설립 초기부터 VRAR 분야에 특화된 VC가 많이 등장한 것도 첫번째 물결 시기의 특징임


Ø 세계 최초 VRAR 전문 VC를 표방하며 2015년 말 출범한 프레즌스 캐피탈(Presence Capital)과 리버 액셀러레이터의 책임자가 스핀오프 하여 만든 더 벤처 리얼리티 펀드(The Venture Reality Fund) 등이 대표적인데, 모두 실리콘밸리에 본사를 두고 있음


Ø 실리콘밸리 못지않게 일본도 VRAR 분야 투자에 적극적인데, 모바일 게임회사인 코로프라(Colopl) 2015 12월에 설립한 코로프라 VR 펀드는 투자 자금 규모가 100억 엔으로 VRAR에 특화된 VC로는 세계 최대 규모임


Ø 그리(GREE) VR 캐피탈이 운영하는 GVR 펀드 역시 그리를 중심으로 믹시(Mixi), 코로프라, 야후 등이 출자한 VRAR 분야 특화 VC


Ø 모바일 게임으로 성장해 2014 12월에 상장한 구미(gumi)는 더 벤처 리얼리티 펀드의 펀드 운용 책임자로 참여하고 있으며, 도쿄 VR 스타트업서울 VR 스타트업 등 액셀러레이션 프로그램도 운영하고 있음


Ø 코로프라, 구미, 그리 등 VRAR 특화형 VC를 만든 일본 3개 기업은 모두 모바일 게임으로 성장한 기업이라는 공통점이 있는데, PC 환경에서 모바일 환경으로 변화를 감지하고 비즈니스 패러다임을 전환해 성공한 경험이 있음


Ø 이런 경험을 가진 기업들이 VRAR 전문 VC를 시작했다는 사실은 VRAR을 모바일의 뒤를 이을 차세대 플랫폼으로 간주하고 있음을 방증함


ž VRAR 관련 스타트업 투자에 두번째 물결이 일어난 것은 2016년 말부터 2017년 봄까지의 일로 실리콘밸리를 대표하는 대형 VC가 잇따라 VRAR 영역에 투자하기 시작한 것임


Ø 2016년은 주요 HMD가 시장에 나온 해였으며, 이를 보고 주요 VC들은 투자의 기초가 갖추어 졌다고 판단했고 두번째 투자 물결을 이루게 되었음


Ø 세쿼이아 캐피탈은 2017 2월에 하이엔드 HMD용 소셜 게임인 Rec Room(레크리에이션 룸)'을 개발·운영하는 어겐스트 그래비티(Against Gravity)에 투자했는데, Rec Room VR 공간에서 만난 사람들과 팀을 이루어 피구나 페인트 건 등을 하며 놀 수 있는 소셜 게임


<자료> GeekWire


[동영상] 어겐스트 그래비티의 Rec Room 트레일러 영상


Ø 2016년에 설립된 스타트업 어겐스트 그래비티는 시애틀에 본사를 두고 있으며, 마이크로소프트에서 AR 글래스 홀로렌즈(HoloLens)용 콘텐츠를 개발하던 인력이 창업 멤버들임


Ø Rec Room 게임 개발에 소요된 기간은 3개월인데, 3개월 만에 만들어 졌다고는 생각되지 않는 완성도가 있는 게임으로, 세쿼이아 등 여러 VC로부터 총 580만 달러를 조달한 어겐스트 그래비티는 현재 게임의 업그레이드에 주력하고 있음


Ø 실리콘밸리 대표 VC 중 하나인 안드리센 호로비츠도 2017 2월에 빅스크린(Bigscreen) VR'에 투자했는데, 이 스타트업이 개발한 소프트웨어를 이용하면 일반 PC 화면에서 디스플레이 되는 영화나 게임을 VR에서 친구들과 공유하고 대화화며 함께 즐길 수 있음


Ø 빅스크린 VR2017 10월에 추가로 자금 조달을 실시해 총 1,400만 달러 투자를 받았는데, 앞으로는 기업용으로 방향을 전환해 원격지에서 일하는 팀원과 공동 작업에 유용한 도구를 개발할 예정이라고 함


[동영상어겐스트 그래비티의 Rec Room 트레일러 영상


ž 2017년 말부터는 제3의 투자 물결이 시작되고 있는 것으로 보이는데, 투자의 초점은 AR에 있으며 전세계 주요 투자자들은 VR에서 AR로 투자로 방향을 전환하기 시작했음


Ø 디지 캐피탈에 따르면 2017년에 전세계 VR AR 분야에 대한 투자액은 30억 달러를 넘어서며 역대 최고치를 기록했는데, 이중 절반이 4분기에 이루어졌음


Ø 세번째 투자 물결이 일게 된 계기가 된 것은 애플과 구글이 경쟁적으로 추진하고 있는 모바일 AR 드라이브인데, 애플은 2017 6 AR용 콘텐츠 개발 환경인 AR(ARKit)을 발표했고, 뒤 이어 구글도 8월 말에 AR코어(ARCore)를 발표했음


Ø 이에 따라 2017년 하반기부터는 AR에 특화된 새로운 액셀러레이터와 VC들이 나타나고 있는데, AR에 특화된 액셀러레이터 프로그램을 처음 시작한 곳은 베타웍스(betaworks)


Ø 베타웍스는 2017 9 AR 스타트업을 대상으로 한 액셀러레이터 프로그램 비전캠프(visioncamp)를 시작한다고 발표했는데, 11주 프로그램으로 올해 1월 뉴욕에서 시작하며, 6~10개 기업을 선정해 기업당 20만 달러를 출자하고 창업 멘토들이 코칭할 예정


Ø 또한 2017 9월에는 실리콘밸리의 유명 VC샤스타 벤처스(Shasta Ventures) AR 분야의 스타트업에 투자하는 샤스타 카메라 펀드(Shasta Camera Fund) 설립을 발표했음



Ø 샤스타 벤처스는 구글이 32억 달러에 인수한 스마트 온도계 업체 네스트 랩(Nest Labs) IoT 관련 기업에 투자하는 것으로 알려져 있는데, AR 분야에서는 창업한 지 얼마 안 된 스타트업을 대상으로 업체당 10만 달러씩 총 20~30개 기업에 출자한다고 함


Ø 일본에서 모바일 게임을 주력 사업으로 하는 아카츠키 역시 2017 10월에 엔터테인먼트 용 AR 콘텐츠 스타트업을 중심으로 투자하는 5000만 달러 규모의 펀드를 설립한다고 발표했는데, 자회사를 LA에 설립하고 현지 스타트업을 발굴하고 있음


ž 3의 투자 물결이 AR을 향하고 있지만 2018년에는 VR 시장에도 독립형 HMD라는 주요한 모멘텀이 있기 때문에 다시 한번 투자가 집중될 가능성이 아직 남아 있음


Ø VR HMD의 가정 보급이 늦어지는 가장 큰 이유로 하이엔드 HMD의 높은 가격이 꼽히지만 사실 더 

큰 비용은 PC에서 발생하는데, 고품질의 VR 콘텐츠를 자연스럽게 구동하려면 현 시점에서도 최고 사양의 PC를 구매해야 하므로 250~300만원의 지출이 필요함


Ø 모바일 시대가 되며 가정에서 PC의 구매가 거의 발생하지 않는 상황에서 VR을 위해 최신형 PC를 구매할 사람이 별로 없기 때문에, 당연히 PC에 연결해 사용하는 HMD 기기도 구매할 이유가 없었던 것임

Ø 이런 문제점 해결을 위해 각 업체들은 PC와 연결이 필요 없는 일체형 HMD 개발에 나선선 것인데, 우선 오큘러스 VR 2017 10월 개최된 오큘러스 커넥트 4(OC 4) 컨퍼런스에서 일체형 HMD 모델인 오큘러스 고(Oculus Go) 개발 계획을 발표하였음


<자료> Recode

[그림 5] VR HMD의 가격대별 스펙트럼 및 기기 유형


Ø 오큘러스 고는 스마트폰을 끼워 이용하는 간편한 모바일 VR PC에 연결하는 하이엔드 VR 사이의 스윗 스팟을 겨냥하는 제품으로, 가격은 199 달러이며 2017 11월부터 개발자에게 발매되었고 일반 소비자용 판매는 올해 초부터 시작될 예정임


Ø 199 달러라는 가격은 마이크로소프트의 홀로렌즈를 포함해 현재 시중에 나와 있는 어떤 HMD보다 저렴한 것인데, 삼성전자 기어 VR과 구글의 데이드림 등 모바일 VR보다 비싸지만 이들 기기는 500~1000 달러 정도의 스마트폰이 별도로 필요한 것을 감안해야 함


Ø 일체형 HMD는 기존 PC 연결형 보다 화질이 낮을 것으로 보이나 시장을 활성화하는 데 우선 기여할 것으로 기대되며, 이와는 별도로 높은 수준의 콘텐츠 이용이 가능한 하이엔드 일체형 HMD 개발도 병행되고 있음


Ø 오큘러스의 프로젝트 산타크루즈(Project Santa Cruz)는 하이엔드 일체형 HMD 개발을 위한 것으로, PC없이 HMD와 양손의 컨트롤러를 잘 연동시키는 것이 핵심기술이며, 2018년 내 출시를 목표로 하고 있음


ž 세번째 투자 물결이 몰려오고 있는 2018년이 VRAR 업계에 어떤 해로 기록될 지 연초부터 많은 관심이 쏟아지고 있기에, 관련 스타트업들은 이 호기를 잘 활용할 필요가 있음


Ø 2016년 두번째 투자 쇄도 이후 많은 이들이 2017년은 VRAR의 원년이 될 것으로 기대했으나, 기기-플랫폼-콘텐츠 등 대부분의 VRAR 기업들은 고전을 면치 못했으며 생존을 위해 힘든 시기를 건너야 했음


Ø 올해 VRAR 시장이 본격적으로 이륙할 지는 두고 보아야 하겠으나, 작년에 비해 사업 환경이 나아지고 기술의 진전이 있는 것은 확실하며, 힘든 시기를 거치며 발굴해 온 다양한 사업모델 시도들도 시장 확산에 자양분이 될 것으로 기대해 볼 수 있음


Ø 시장의 가능성이 보이면 그 동안 관망세를 보이던 대기업들과 대형 VC들의 참전도 본격화될 것이므로, VRAR 사업을 겨냥하고 있는 스타트업들에게 2018년은 결정적 한 해가 될 것으로 보임

※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1829호(2018. 1. 17. 발행)에 기고한 원고입니다.


▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

구글 &lsquo;AR 스티커&rsquo; 앱 인기, AI 시스템으로 진화하는 스마트폰.pdf



[ 요 약 ]


가상의 스타워즈 캐릭터들을 등장시켜 비디오와 사진을 촬영할 수 있게 해 주는 구글의 증강현실(AR) 앱 AR 스티커가 큰 인기를 얻고 있음지금까지의 AR과 비교할 수 없을 정도로 사실적인 캐릭터를 스마트폰을 통해 생성하고 있는데이를 가능케 한 것은 스마트폰 전용 인공지능(AI) 프로세서로 리얼한 AR 구현에 필요한 대규모 연산을 지연 없이 즉각 처리할 수 있음. AI 엔진으로도 사용되는 이 프로세서가 탑재되며 스마트폰이 AI 시스템으로 진화할 것이 보다 명확해지고 있음



[ 본 문 ]


ž 구글의 새로운 증강현실 기술인 ARCore에 기반을 둔 첫번째 앱 AR Stickers(스티커)2012 12픽셀(Pixel) 2 스마트폰 전용의 카메라 앱으로 투입되었음


Ø 2014년에 구글은 증가현실 기술 프로젝트 탱고(Tango)를 발표했는데 이 기술은 전용 렌즈를 따로 구비해야 하는 번거로움이 있었고, 그래서 탱고를 지원하는 스마트폰 기기가 레노버의 팹플러스2와 아수스의 젠폰AR 등 극소수에 불과했음


Ø 구글이 프로젝트 탱고의 문제로 고민할 즈음 애플은 작년 6월 전용 렌즈 필요 없이 아이폰 만으로 AR을 구현하는 ARKit 기술을 선보였고, 이 방향이 보다 대중적이라 판단한 구글은 얼마 후에 그와 유사한 ARCore 기술을 공개하며 프로젝트 탱고는 2018 3월 종료한다고 발표


Ø 애플에 비해 조금 늦긴 했지만 구글의 AR코어는 발표 당시 큰 기대를 모았는데, 이를 이용한 첫번째 증강현실 앱으로 선보인 AR Stickers는 기대를 저버리지 않았다는 호평을 이끌어 냈음


Ø 이미 많은 스마트폰에서 비디오나 사진을 개체 또는 텍스트와 증강현실로 통합해 주는 AR 앱을 사용할 수 있지만 AR스티커의 특징은 높은 정밀도로 증강현실을 구현하고 있다는 것으로 현실과 가상 공간의 구분을 없앴다는 평을 받고 있음


ž AR스티커 앱은 픽셀2 스마트폰의 카메라를 이용하기 때문에, 이용하려면 우선 안드로이드 8.1을 설치하고, 앱 업데이트를 통해 AR코어AR스티커를 다운로드 받아야 함


Ø 다운로드 후 구글 카메라 앱을 사이드 메뉴에 열게 되면 새롭게 추가된 AR Stickers 옵션이 보이는데, 이를 탭한 다음 몇 가지 설정을 해주어야 함


Ø 스티커가 나타나게 하고 싶은 평평한 공간으로 카메라 렌즈를 향하게 한 후 스마트폰을 몇 번 회전시키면 카메라가 공간을 분석하게 되는데, 이 공간 인식 과정은 오로지 카메라에만 의존하며 다른 특별한 센서는 필요로 하지 않음


Ø 픽셀2 스마트폰이 공간 매핑 작업을 끝내면 스티커를 붙일 수 있는데, 현재 Star Wars, Stranger Things, Foodmoji, Text, Blocks 5가지 팩이 제공되고 있음


<자료> CNET


[그림 1] 픽셀2의 카메라 앱에 추가된 AR Stickers 옵션과 푸드모지(Foodmoji) 캐릭터 추가


Ø 스티커 캐릭터를 가져온 다음 아이템에 따라 터치 컨트롤을 이용해 화면에 맞게 크기를 늘리거나 줄일 수 있으며 원하는 공간으로 이동시킬 수 있고, 세팅이 끝나고 나면 비디오 녹화 혹은 사진 촬영을 할 수 있음


Ø AR스티커는 현재 자동 초점(autofocus)이나 탭으로 초점 맞추기(tap-to-focus) 기능은 제공하고고 있지 않으며, 향후 픽셀 1에서도 이용할 수 있게 할 지 여부는 공개되지 않고 있음


ž AR스티커는 다양한 세트를 제공하고 있지만, 영화 스타워즈 최신 시리즈 라스트 제다이(Star Wars: The Last Jedi)의 캐릭터들이 가장 큰 인기를 누리고 있음


Ø 스타워즈 세트를 선택하면 영화에 등장하는 여러 캐릭터를 비디오에 넣을 수 있는데, 가령 은하 제국군 기동 보병인 스톰트루퍼(Stormtrooper)를 선택해 비디오에 배치 할 수 있음


Ø 촬영을 시작하면 스톰트루퍼가 움직이며 소리를 내는데, 하나가 아니라 여러 스톰트루퍼를 배치할 수도 있으며 각 객체는 독립적으로 움직임을 보이게 되는데, 이들 기동 보병은 매우 사실적으로 묘사되어 있고 움직임이 자연스럽고 부드러워 실제 캐릭터와 분간이 어려움


<자료> TechAcute


[그림 2] 스타워즈 스티커 세트 중 스톰트루퍼를 이용한 AR 비디오


Ø 동맹 반군의 전투기인 'X-윙 파이터(X-wing Fighter)를 선택하면 가변 날개를 X자 모양으로 펼친 상태에서 공중을 호버링하는데, 전투기는 주위 배경의 밝기에 따라 지상에 그림자를 드리우기 때문에 배경과 하나로 합쳐져 가상 이미지라는 느낌을 전혀 주지 않음


<자료> TechAcute


[그림 2] 스타워즈 스티커 세트 중 X-윙 파이터를 이용한 AR 비디오


Ø 여러 캐릭터를 동시에 조합하여 사용할 수도 있는데, 눈사람 모양의 로봇 BB-8을 선택하면 화면 가운데에서 데굴데굴 움직이며, 여기에 스톰트루퍼를 추가하면 두 캐릭터가 고유의 움직임을 보이다가 서로 마주하게 되면 서로 커뮤니케이션을 하기 시작함


Ø TIE Fighter를 선택하면 쌍발 이온 엔진(Twin Ion Engines)으로 비행하는 전투기가 등장하게 되며, 전투기는 이온 엔진 특유의 소리를 내며 비행하고 때때로 레이저 캐논으로 공격을 가함


Ø TIE Fighter에 접근해 근접 촬영을 해보면 전투기 세부까지 극명하게 묘사되어 있음을 알 수 있는데, 기체에 난 손상 흔적이나 모서리의 마모 등이 매우 리얼하게 표현되어 있어 마치 모형을 촬영하고 있는 듯한 느낌을 주며, 이것이 가상의 객체라는 사실이 놀라움을 주고 있음



ž AR스티커는 구글의 AR 앱 개발 플랫폼인 AR코어를 통해 개발되었으며, 구글은 AR코어를 공개하고 있기 때문에, 파트너들도 개발 환경을 이용해 AR 앱을 개발할 수 있음


Ø AR코어가 작년 8월 말에 공개되었기 때문에 현재 이 개발환경을 지원하는 기기는 구글의 픽셀과 픽셀2 및 삼성전자 갤럭시 S8뿐이지만, 올해 출시될 중고사양 안드로이드 스마트폰들은 대부분 AR코어를 지원할 것으로 전망


Ø 따라서 조만간 AR스티커 앱에도 더 많은 팩이 개발되어 제공될 것을 예상해 볼 수 있으며, 스티커 외에 게임, 교육, 커뮤니케이션 등의 분야에서 더 재미있고 참신한 AR 앱들이 속속 선보이며 AR의 대중화를 앞당길 것으로 보임


ž 가상의 콘텐츠를 현실 세계와 통합하는 증강현실을 완벽히 구현하기 위해 구글의 AR코어 플랫폼은 3가지 모듈의 완성도를 높이는 데 주안점을 두고 있음


Ø 동작 추적(Motion Tracking) 모듈은 현실 세계 속에서 AR 콘텐츠의 위치를 ​​파악하고 스마트 폰으로 콘텐츠를 추적하는 캐릭터의 위치 결정 기술임


Ø 카메라의 움직임에 따라 AR코어는 COM(Concurrent Odometry and Mapping, 동시 이동거리측정 및 매핑) 프로세스를 실행하여 카메라의 위치 관계를 파악하는데, 이미지 안의 특징 포인트 (Feature Point)를 파악해 이들이 어떻게 변하는지 추적하여 공간에서 카메라의 위치를 ​​파악함


Ø AR코어는 특징 포인트의 움직임과 스마트폰의 가속도계 데이터를 결합하여 카메라의 위치와 카메라의 방향을 뜻하는 포즈(Pose)를 파악하는데, GPS 등의 위치 정보가 없어도 AR코어는 핀 포인트로 위치 파악이 가능함


[그림 3] 증강현실 구현을 위한 AR코어의 3대 모듈 중 동작 추적


Ø 환경 이해(Environmental Understanding) 모듈은 현실 세계에서 평평한 부분을 감지하고 그 위치와 크기를 파악하는 기술인데, 평평한 부분은 특징 포인트가 공통적으로 수평면을 가지고 있기 때문에 플레인(Plane)이라 부르며 테이블이나 바닥 등이 대표적 플레인이 됨


Ø AR코어는 플레인의 경계를 파악하게 되는데, 이 정보가 앱에 전달되어 캐릭터가 설 수 있는 장소와 그 범위를 파악할 수 있음


[그림 3] 증강현실 구현을 위한 AR코어의 3대 모듈 중 환경 이해


Ø 밝기 측정(Light Estimate) 모듈은 현실 세계의 빛의 상태를 파악하는 기술인데, 카메라에 포착된 개체의 평균적인 빛의 강도를 파악하게 됨


Ø 이 밝기 정보를 앱에 전달하여 생성하는 객체를 그와 동일한 밝기로 만들기 때문에, 이런 방식을 통해 생성된 객체는 생생함을 얻게 되고 배경 이미지와 어울리게 됨


<자료> Google


[그림 3] 증강현실 구현을 위한 AR코어의 3대 모듈 중 밝기 측정


Ø 이상의 3개 모듈을 통해 현실 세계를 이해할 수 있게 되면 AR코어는 가상의 객체를 생성하여 이를 현실세계와 통합하는데, 개체는 현실 세계에 적합한 자연스러운 형태로 배치됨


Ø AR코어가 주변 상황을 파악하고 있기 때문에 이용자는 포즈를 바꿀 수 있으며 카메라를 움직여 객체의 주위를 돌면서 혹은 다른 방향에서 촬영할 수 있는데, 가령 X-윙 파이터 주위를 돌며 뒤에서 촬영해도 전투기는 공중에서 호버링 하며 닻으로 고정된 것처럼 그 자리에 머묾


ž 이처럼 픽셀2에서 AR코어를 통해 고급 AR 처리를 실행할 수 있는 것은 픽셀2가 이미지 처리 및 기계학습용 전용 프로세서, AI 프로세서를 탑재하고 있기 때문임


Ø 픽셀2픽셀 비주얼 코어(Pixel Visual Core)라는 인공지능(AI) 전용 프로세서를 탑재하고 있는데, AR코어는 픽셀 비주얼 코어에서 처리되며 초당 60 프레임을 생성하기 때문에 정밀한 이미지를 만들어 낼 수 있음


Ø 그 결과 세부 디테일까지 상세하게 묘사된 가상의 캐릭터가 이미지 처리 지연 시간 없이 비디오 속에서 자연스럽게 움직임을 보일 수 있고 실물 객체와 분간 할 수 없게 되는 것임


Ø AR 앱 적용에 앞서 픽셀 비주얼 코어 프로세서는 사진 촬영이나 AI 기능에 사용되었는데, 픽셀2의 카메라 앱은 HDR+라는 기능을 가지고 있으며 다이내믹 레인지의 넓은 사진을 촬영할 수 있고, 이미지 처리에 대량의 연산이 발생하지만 이를 픽셀 비주얼 코어에서 빠르게 처리함



Ø 가령 교회 안에서 희미한 제단을 HDR+ 기능으로 촬영하면 조명을 비춘 것처럼 생생하게 담을 수 있는데, 지금까지는 HDR+ 처리에 시간이 걸리고 많은 전력을 소비했지만 픽셀 비주얼 코어를 탑재해고 있어 이런 작업을 즉각 실행할 수 있음


<자료> ITPro


[그림 5] AI 프로세서로 처리한 픽셀2 HDR+


Ø 픽셀 비주얼 코어는 구글이 설계한 프로세서로 픽셀2 스마트폰의 가속기로 자리매김 되고 있는데, 픽셀2의 메인 프로세서는 퀄컴 스냅드래곤 835이지만 이미지 처리 및 기계학습 실행 시에는 픽셀 비주얼 코어로 작업을 이관하게 됨


Ø 픽셀 비주얼 코어의 개발 환경을 보면, 이미지 처리에서는 이미지 처리용 프로그래밍 언어 할라이드(Halide)를 지원하며, 기계학습에서는 딥러닝용 오픈소스 소프트웨어 텐서플로우 라이트(TensorFlow Lite)를 지원함


Ø 픽셀 비주얼 코어는 안드로이드 8.1 오레오(Oreo)부터 사용할 수 있는데, 즉 픽셀2에는 이미 픽셀 비주얼 코어가 탑재되어 있었지만 오레오가 공개된 작년 12월부터 이 프로세서를 사용할 수 있게 된 것이며, 오레오 런치와 함께 AR스티커에서 스타워즈 세트도 제공되기 시작한 것


ž 구글은 안드로이드 8.1을 공개하며 기계학습을 위한 API신경망 API(Neural Networks API)를 공개했는데, 이는 스마트폰이 AI 시스템으로 진화되어 갈 것임을 시사


Ø 개발자들은 신경망 API를 이용해 기계학습 기능을 응용 프로그램에 통합 할 수 있게 되었는데, 신경망 API는 픽셀 비주얼 코어 외에도 GPU 등 프로세서도 지원하고 있음


Ø 텐서플로우 라이트는 경량의 AI 개발 환경에서 교육된 AI 앱을 스마트폰에서 처리하기 위해 사용되는데, 파트너들이 안드로이드용 AI 앱을 개발하고 있어 조만간 스마트폰에서 실시간으로 구동되는 AI의 등장이 기대되고 있음


ž 스마트폰의 AI 프로세서를 통해 현실과 구분하기 어려운 가상의 객체들이 AR로 통합됨에 따라 2018년은 이전과 차원이 다른 AR이 새로운 콘텐츠 미디어로 급부상할 것으로 전망


Ø 구글은 작년 연말부터 스타워즈를 모티브로 한 AR스티커를 텔레비전 방송으로 광고하고 있으며 미국에서 상당한 화제를 모으고 있음


Ø AR스티커의 사회문화적 파급력 역시 결코 작지 않을 것을 예상해 볼 수 있는데, 리얼한 가상 객체를 스마트폰에서 생성할 수 있게 됨에 따라, 지금까지 전문가들의 영역이었던 특수 촬영이 픽셀2를 통해 대중화할 수 있는 계기를 마련했기 때문


Ø 인공지능의 발전에 따라 점점 더 현실과 구분하기 어려운 가상 객체들을 손쉽게 만들 수 있게 되었으며, 이를 스마트폰을 통해 이용할 수 있는 환경이 도래함에 따라 현실과 가상의 세계 구분이 어려운 새로운 콘텐츠 공간이 열리게 되었음


Ø 픽셀2가 보여 준 스타워즈 AR스티커는 포켓몬GO를 통해 대중화된 지금까지의 증강현실 개념을 뛰어넘은 것으로, 현실과 가상을 넘나드는 새로운 앱의 출현을 기대하는 만드는 동시에 점점 더 구분하기 어려운 가짜 뉴스의 확산 등 적잖은 부작용에 대한 우려도 낳고 있음


※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1814호(2017. 9. 20. 발행)에 기고한 원고입니다.


▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

전용 하드웨어에서 기본 카메라로 - AR 전략 변경한 구글의 기회비용.pdf


[ 요 약 ]


구글이 안드로이드폰의 증강현실(AR) 플랫폼으로 기존의 탱고(Tango) 대신 AR코어(ARCore)를 새로 발표하였음전용 하드웨어를 필요로 하는 탱고와 달리 AR코어는 스마트폰의 기본 카메라 만으로 AR을 구현할 수 있는 장점이 있지만탱고를 통해 애플 중심의 앱 개발 생태계를 흔들어 보려던 구글의 전략은 지연될 것으로 보임구글의 전략 수정은 애플의 AR 플랫폼 확산 가능성에 위기를 느꼈기 때문일 텐데당장의 경쟁 대응 효과는 크겠으나 그 기회비용 역시 결코 작지 않아 보임


[ 본 문 ]


ž 증강현실(AR) 특화 스마트폰을 추진해 오던 구글이 전략을 바꿔 애플과 페이스북처럼 일반 스마트폰의 싱글 카메라로 AR을 구현하는 쪽으로 방향을 틀었음


Ø 구글은 지난달 말 스마트폰에 탑재된 카메라로 AR을 구현하는 AR코어(ARCore) 기술을 새로운 AR 플랫폼으로 발표했으며, 앱 개발자들이 안드로이드용 AR 콘텐츠 개발을 위해 사용할 도구인 AR코어 SDK도 함께 공개하였음


<자료> Google


[동영상] 구글의 AR코어로 구현한 증강현실


Ø AR 코어는 모든 스마트폰에 탑재돼 있는 카메라와 모션 센서(자이로 센서)를 이용하여 실시간으로 3차원 공간 인식을 수행하고, 그 인식한 공간에 컴퓨터 그래픽(CG)을 합성하여 스마트폰으로 볼 수 있게 해주는 기술임


Ø 이를 위해 AR코어는, 카메라의 이미지와 모션 센서 데이터로 스마트폰의 위치와 방향을 추정하는 동작 추적, 카메라의 이미지로 공간 유형을 추정하는 환경 이해, 카메라의 이미지에서 광원의 위치와 방향 등을 추정하는 광원 추정 등 세가지 기능을 갖추고 있음


Ø 나누어 살펴보면, AR코어는 우선 카메라가 촬영한 사진을 보고 물체의 모서리라거나 직선이라거나 하는 특징점을 인식하고, 그 특징점의 움직임을 계속해서 감지하면서 카메라의 움직임과 피사체의 상태 등을 추정하는데, 이 단계에서는 동작 추적 환경 이해 기능이 작동함


Ø 여기에 광원 추정 기능을 결합하여, 카메라의 방향에 따라 CG 객체의 외관이 바뀌거나 CG 객체의 움직임에 따라 그림자가 바뀌거나 하는 등의 효과를 구현하게 됨


Ø 예를 들어 대표적 AR 게임인 포켓몬Go의 경우 현재는 CG로 만든 포켓몬이 공중에 떠있는 것처럼 보이지만, AR코어가 제공하는 기술을 사용하면 CG 객체가 땅 위에 서 있고 광원 위치에 따라 외양의 변화나 그림자의 모양이 변하는 것을 연출할 수 있게 되는 것임


Ø AR코어의 프리뷰 버전은 현재 구글이 직접 제조하는 픽셀(Pixel) 스마트폰과 삼성전자 갤럭시 S8에서 이용해 볼 수 있음


ž AR코어의 공개를 구글의 AR 전략 변경으로 볼 수 있는 이유는, 구글은 이미 탱고(Tango)라는 스마트폰용 AR 기술을 상용화했고 이를 적용한 제품들이 출시되어 있기 때문


Ø 구글의 첨단기술 및 프로젝트(ATAP) 그룹은 2000년대 중반부터 미 고등국방기술연구원(DARPA)과 함께 3D 지도 촬영 및 가상 지도제작 기능을 갖춘 스마트폰을 개발하기 위해 프로젝트 탱고를 진행해 왔음


Ø ATAP 그룹은 모토롤라 모빌리티 산하에 있었는데, 구글이 레노버에 모토롤라를 매각할 때도 ATAP 그룹을 남겨 놓을 만큼 프로젝트 탱고에 대한 구글의 관심은 매우 높았음


<자료> Project Tango


[동영상] 프로젝트 탱고의 트래킹 시스템


Ø 이후 구글과 레노버는 2016 6월 레노버의 연례 혁신 기술 컨퍼런스인 테크월드 2016에서 프로젝트 탱고의 연구 성과를 기반으로 한 스마트폰 2 프로(Phab2 Pro)를 공개한 바 있음


Ø 구글은 팹2 프로를 소개하며, 모바일 기기가 3D 공간을 인식하고 이 공간에서 발생하는 동작을 인간의 눈 수준으로 인식하는 데 목표를 두었다고 밝혔는데, 2 프로에 내장된 센서는 초당 2 5천만 번 이상 3D 측정을 한 후 측정 데이터를 기반으로 3D 모델을 생성함


Ø 이를 위해 4백만 화소 카메라 2대에 컴퓨터 비전 프로세서, 뎁스(depth) 센서, 동작 추적 카메라를 통합 내장했는데, 이 때문에 탱고 폰은 후면 카메라, 전면 카메라 외에 전용 뎁스(depth) 카메라동작 추적(motion tracking) 카메라 등 총 4개의 카메라를 장착하고 있음


Ø 또한 탱고 폰은 3D 처리를 위해 애플 자회사로 편입된 프라임센스의 3D 이미징 칩과 함께 빠르고 정확한 위치 스캐닝을 위한 모비디어스의 저전력 비전 처리 칩을 탑재하고 있음


ž 프로젝트 탱고와 AR코어의 기술 사양을 비교해 보면, 구글의 목표가 단시간 내에 AR 콘텐츠 이용이 가능한 안드로이드 폰 기반을 확보하려는 것임을 알 수 있음


Ø 전용 듀얼 카메라와 3D 처리 칩 등 전용 하드웨어를 필요로 하는 탱고 기술과, 싱글 카메라 그것도 AR 전용 하드웨어가 아닌 일반 스마트폰 카메라를 사용하는 AR코어 기술을 비교해 보면 양자의 장단점은 간단히 유추할 수 있음


<자료> Lenovo


[그림 1] 4개의 카메라가 탑재된 탱고 폰



Ø 탱고 플랫폼이 고도의 3D 처리 능력을 기반으로 풍부한 증강현실 서비스의 구현이 가능한 장점이 있는 반면, AR코어는 성능은 상대적으로 떨어지겠지만 이미 보급되어 있는 일반 안드로이드 폰에서 곧바로 AR 기술을 이용할 수 있게 해 주는 것이 장점임


Ø 구글은 AR코어를 공개하며 1억 대 이상의 안드로이드 기기에서 활성화하는 것이 목표라고 밝혔는데, 전용 하드웨어가 필요하지 않기 때문에 그다지 어려운 목표는 아님


ž 구글이 탱고 폰 발표 이후 1년 남짓 만에 다시 AR코어를 발표하게 된 데에는, 올해 들어 페이스북과 애플이 연이어 싱글 카메라 방식의 AR 기술을 선보인 것과 관련이 있음


Ø 애플은 올해 6월에 개최된 연례 애플 개발자 회의 WWDC에서 아이폰의 카메라로 AR을 실현하게 해주는 AR(ARKit)를 연내 선보일 iOS 11에 탑재할 것이라 발표했는데, AR킷은 A9 이후의 프로세서를 탑재하고 있는 아이폰과 아이패드에서 이용 가능하게 될 것이라고 함


Ø 기기 대수에 대해 애플은 수 억대 규모라 표현했는데, 이는 일부 게임을 빼면 대부분의 사람들에게 별다른 의미가 없었던 AR이 단숨에 친숙한 기술이 될 수 있을 것이라 밝힌 것임


Ø 애플에 앞서 페이스북 역시 올해 4월 열린 연례 페이스북 개발자 회의 F8에서 스마트폰의 카메라를 AR 의 플랫폼으로 삼겠다고 선언하고 개발중인 AR 기술의 데모를 시연한 바 있음


Ø 현재 페이스북이 제공하는 AR 기술인 카메라 효과 플랫폼(Camera Effects Platform)은 페이스북 메신저 앱에서 카메라로 촬영한 인물 사진이나 동영상에 CG 객체를 합성하는 기능에 사용되고 있음


Ø 스마트폰 OS가 없는 페이스북이 애플 및 구글과 AR 분야에서 경쟁하려면 상당한 노력이 필요할 것이며, AR코어와 AR킷에 필적할 수 있는 기능의 출시는 내년 이후가 될 것으로 보이지만, 이미 서비스에 이용 중이라는 점에서는 애플과 구글을 앞서고 있다 할 수 있음


Ø 이처럼 올해 들어 애플과 페이스북이 기존 스마트폰에서 이용 가능한 AR 기술을 선보인 직후, 그 동안 전용 하드웨어 기반의 AR 기술을 추진해 오던 구글이 경쟁자들과 동일한 기술 방식으로 변경한 것이기에, 구글의 전략 수정은 경쟁 환경 변화에 따른 것으로 분석되는 것임


 [1] 주요 기술기업들의 AR 플랫폼 기술 방식 비교

기업명

플랫폼 명

기술 방식

발표 시기

기기 인프라

애플

ARKit

싱글 카메라

2017 6

2017년 내 수억 대

페이스북

Camera Effects Platform

싱글 카메라

2017 4

해당사항 없음

구글

ARCore

싱글 카메라

2017 8

단시일 내 1억 대

구글

Tango

전용 하드웨어

2014 2

2기종 (판매대수 미공개)

MS

Windows Mixed Reality

전용 하드웨어

2015 1

1기종 (판매대수 미공개)

<자료> IITP 정리


ž 특히 애플의 AR킷이 일반 카메라 만으로도 기대 이상의 성능을 보여준다는 평가를 받는 것이 구글이 긴 호흡으로 준비하던 탱고 프로젝트에서 회군을 결정하게 된 이유로 보임


Ø AR킷은 새로운 하드에어를 필요로 하지 않고 기존 카메라 모듈에 기능이 추가되는 것뿐이며, AR 기술 자체는 보편화 되지 않았을 뿐 새로운 기술은 아니기에, 신기술이 불러 일으키는 기대감이라는 측면에서 보면 애플은 구글이나 MS에 비해 경쟁력이 떨어진다 할 수 있음


Ø 구글은 기존의 구현 수준을 크게 넘어서는 AR 기술을 개발하기 위해 전용 하드웨어 기반의 프로젝트 탱고를 진행해 온 것이기 때문에, 단지 애플이 AR킷을 공개했기 때문에 애플과 동일한 기술 방식인 AR코어로 즉자적인 대응을 했다고 보기는 어려움


Ø 그러나 구글을 곤혹스럽게 한 것은 WWDC에서 공개된 애플의 AR킷의 성능이 예상 외로 볼만 했다는 점인데, 전용 하드웨어를 탑재한 탱고 폰에 비해 AR킷의 3D 모델링 성능이 떨어지는 것은 맞지만, 일반 카메라 만으로 꽤 괜찮은 동작 추적 기능을 보여준다는 평을 받았음


Ø 카메라와 동작 추적 센서 만으로 볼 만한 품질의 AR 콘텐츠를 개발할 수 있다는 사실은 개발자들을 자극하였는데, 실제 AR킷 발표 이후 이를 활용한 데모 기술들이 속속 선보이고 있음


Ø 이런 반응이 구글에게 뼈 아픈 것은 애플의 AR킷은 이미 사람들이 사용 중인 아이폰과 아이패드의 하드웨어 자원을 그대로 이용하는 것이기 때문에, 현재의 애플 앱 생태계 개발자들이 그대로 애플 AR 앱 생태계로 넘어갈 수 있다는 점


Ø 작년 6월 레노버의 탱고 폰을 발표하는 자리에서 구글은 올해까지 1천개 이상의 AR 앱이 등장할 수 있도록 개발을 지원할 것이라 밝힌 바 있는데, 이는 AR 앱의 활성화를 통해 안드로이드 앱 생태계, 나아가 AR 전용 안드로이드 폰의 판매를 촉진하겠다는 것으로 해석되었음


Ø 구글이 그런 전략을 세울 수 있었던 이유는, AR 앱의 확산을 위해서는 지금보다 고도의 AR 기술 플랫폼이 필요한데, 오랜 동안 프로젝트 탱고를 추진해 온 자신들에 비해 애플은 전용 하드웨어 기반의 AR 플랫폼 확보에 시간이 다소 걸릴 것이라 판단했기 때문일 것임


<자료> 9to5 Mac


[동영상] 애플의 AR킷으로 구현한 증강현실


Ø 그런데 애플의 AR킷이 개발자들에게 호평을 받음에 따라 AR 앱 생태계에서도 애플이 개발자들을 선점할 가능성이 제기되었고, AR 앱을 통해 앱 생태계 판도를 바꿔 보려던 구글로서는 다급히 대응 기술을 발표할 수밖에 없었던 것으로 보임


Ø 반면 세간의 관심이 구글의 프로젝트 탱고에 쏠리며 AR 대응이 뒤쳐지는 것이 아닌가 하는 평가를 받았던 애플은 AR킷이 호평을 받음에 따라 구글에 앞서 AR 앱 생태계를 구축할 수 있는 토대를 마련했으며, 아이폰이 AR의 시대에도 위세를 잃지 않게 할 경쟁력을 갖추게 되었음


ž 애플이 AR킷으로 얻는 효과를 구글 역시 AR코어로 얻을 수는 있겠지만, 판을 바꾸려 했다가 또 다시 애플이 만든 판에서 경쟁해야 하는 구글은 적잖은 기회비용을 지불해야 함


Ø 애플이 연내에 수억 대의 아이폰에서 향상된 AR 앱을 이용할 수 있게 될 것이라 예상하는 것만큼, 구글도 이제 AR코어를 통해 수억 대의 안드로이드 폰에서 고품질의 AR 앱이 사용될 수 있는 환경을 갖추게 되었음


Ø 그러나 AR킷이 예상보다 호평을 받고 있긴 하지만 탱고 플랫폼과 비교하면 아무래도 정확도는 떨어진다는 평가가 나오는 데서 알 수 있듯이, AR코어 역시 AR킷과 비슷하거나 혹 조금 나을 수 있을지는 몰라도 탱고와 유사한 성능 수준이 될 것이라 보기는 어려움


Ø , AR 앱을 만드는 개발자들이 애플 생태계로 쏠리는 것을 막고 애플과 경쟁할 수 있게 되긴 했지만, 탱고를 통해 앱 생태계에 대한 영향력을 강화하려 했던 당초 계획에 큰 차질이 빚어지게 된 것은 구글로서는 매우 아쉬운 대목임


Ø 구글은 십여 년 넘게 AR 기술 개발에 투자해 왔으며, 구글 글래스를 개발하고 포켓몬 GO에 투자하는 등 AR차세대 대물(Next Big Thing) 후보의 하나로 자리매김해 왔음


Ø 프로젝트 탱고가 성공했다면 안드로이드가 iOS를 카피하고 구글플레이가 앱스토어를 모방했다는 콤플렉스를 벗어날 수 있는 계기가 될 수 있었겠으나, AR킷에 대응해 AR코어를 발표하면서 구글은 또 다시 애플이 짜 놓은 규칙에 따라 경쟁해야 하는 처지가 되었음


Ø 물론 프로젝트 탱고를 개발해 온 구글의 AR코어가 AR킷 보다 더 나은 성능을 제공할 수도 있겠지만, 앱 생태계 판을 새로 짜고 싶었던 구글로서는 애플과 동일 방식의 기술로 경쟁을 해야 한다는 사실 자체가 그닥 받아들이고 싶지 않은 상황일 것임


<자료> FusedAR


[동영상] 애플의 AR킷과 구글 AR코어 비교


ž 일단 프로젝트 탱고 대신 AR코어를 새로 공개하게 되면서, 애플처럼 제조업체에 대한 완벽한 통제 권한을 얻고 싶어하던 구글의 희망은 또 다시 지연될 공산이 커졌음


Ø iOS와 비교할 때 가장 먼저 거론되는 안드로이드의 약점은 소위 파편화(fragmentation), 시장에서 다양한 버전이 혼용되고 있기 때문에 사용자 경험 면에서 통일성이 없다는 것


Ø 안드로이드 OS의 파편화는 제조업체마다 약간씩 다른 버전을 사용하기에 발생하는 문제인데, 예를 들어 아마존의 킨들 OS나 샤오미의 MiUI는 대표적인 안드로이드 변형 운영체제임


Ø 이는 안드로이드 OS의 단기 확산을 노려 무료로 제공했던 구글과, 자체 OS가 없어 안드로이드를 사용하지만 자신들의 목적에 맞는 기능을 집어 넣으려 했던 제조업체들 사이의 이해관계가 절충되며 만들어진 결과라 할 수 있음


Ø 시간이 지나며 구글은 사용자 경험의 통일성을 명분으로 제조업체에 대한 영향력 강화를 도모했고, 이에 대해 제조업체들은 반발하며 구글의 가이드라인을 벗어나기 위한 여러 가지 방안을 모색하며 양자 사이에는 미묘한 긴장 관계가 자리하게 되었음


Ø 이런 상황에서 만일 탱고 플랫폼 기반의AR 앱이 시장의 큰 반향을 얻게 되고 탱고 폰에 대한 수요가 급증하게 된다면, 애플과 폭스콘의 관계처럼 구글도 파트너 제조업체들에게 강력한 통제권을 행사하며 일관된 사용자 경험이라는 오랜 숙원을 달성할 수 있었을 것임


Ø 그러나 전용 하드웨어를 사용해야 하는 탱고 플랫폼과 달리 AR코어는 별도 하드웨어가 필요하지 않기 때문에 구글이 제조업체들의 생산 과정에 관여할 여지는 사실상 없어졌으며, 지금까지와 마찬가지로 제조업체들은 자신들의 필요에 의해 AR코어의 변형을 시도할 것으로 예상됨


ž 게다가 탱고의 2선 후퇴는 가상현실(VR)과 혼합현실(MR) 분야에서도 구글의 발목을 잡을 가능성이 있기 때문에 기회비용은 훨씬 더 커질 수 있음


Ø 구글은 작년 10월 모바일 VR 플랫폼인 데이드림(Daydream)을 발표했으며, VR 이용 기기로는 전용 헤드셋 이외에 스마트폰과 연동해서 사용하는 방식의 데이드림 뷰(Daydream View) 헤드셋을 공개한 바 있음


Ø 데이드림 뷰에 연결해 사용할 수 있는 스마트폰은 최근 출시된 삼성전자 갤럭시 S8, LG전자 V30을 비롯, 구글 픽셀, 에이수스 젠폰 AR, ZTE 엑손 7, 모토롤라 모토Z 10여 개임


<자료> Google


[그림 2] 구글의 VR 헤드셋 데이드림 뷰


Ø 기존 스마트폰 연동 방식의 VR 헤드셋으로는 구글의 카드보드와 삼성전자의 기어 VR 등이 있었는데, 전용 헤드셋에 비해 가격이 저렴하다는 장점이 있지만 안드로이드 폰의 파편화가 심해 그래픽 옵션을 최하로 설정해서 개발해야 하는 등의 문제가 있었음


Ø 이에 비해 데이드림 뷰와 연결되는 스마트폰들은 에이수스의 젠폰(ZenFone AR) 처럼 그 자체가 탱고 폰일 정도로 사양이 좋은 것이 장점이며, 데이드림에 사용된 머리 위치 추적 기술인 월드센스(WolrdSense)가 탱고에서 파생되는 등 양자 사이에 기술적 연관성이 높다는 것도 이점임


Ø 탱고와 데이드림 뷰의 결합은 전용 헤드셋에 비해 가격 경쟁력을 유지하면서도 성능을 개선할 수 있는 방안이며, 동시에 전용 헤드셋을 개발 중인 마이크로소프트나 페이스북보다 구글이 가상현실 및 혼합현실 기기 보급에서 앞서나갈 수 있게 해주는 전략이었음


Ø 또한 현재 페이스북과 모바일 VR 분야에서 협력관계를 맺고 있으며, 데이드림 뷰의 경쟁 제품인 기어 VR을 제조하는 삼성전자를 견제할 수 있는 전략이기도 하였음


Ø 그러나 탱고를 대신하는 증강현실 플랫폼으로 AR코어를 내놓음에 따라 구글의 VR MR 분야 경쟁 전략에도 차질이 빚어질 것으로 보이는데, 외부 요인이 아니라 스스로 선택한 결정에 의해 발목이 잡히는 형국이라는 점이 구글로서는 뼈아픈 대목


ž구글이 적지 않은 기회비용을 감수하며 AR코어를 선택한 것이기에 향후 애플과 구글의 AR 경쟁은 더욱 치열해질 전망이며, AR은 일상 속에 보다 빠르게 확산돼 나갈 것으로 보임


Ø 구글이 AR코어와 프로젝트 탱고를 동시에 추진할 수도 있겠으나, AR킷의 대항마로 AR코어를 서둘러 내세워야 했을 만큼 현재 구글이 여유를 부릴 수 있는 상황은 아님


Ø 야심차게 추진해 왔던 탱고 플랫폼을 잠시 뒤로 물린 것은 그 만큼 애플 AR킷의 성능이 위협적이라는 뜻이므로, 구글로서는 애플과 AR 앱 생태계 구축 경쟁에서 이기기 위해 AR코어의 성능을 향상시켜야 하나, 그럴수록 탱고에 대한 수요를 감소시키게 되는 딜레마가 발생하게 됨


Ø 따라서 현실적으로 구글이 택할 수 있는 방향은 AR코어의 기술적 완성도를 높여 최대한 탱고 기술에 근접하도록 하는 것이며, 현 시점에서 구글은 이 전략이 최선이라 판단한 것으로 보임


Ø 구글의 전략 변경이 어떤 결과를 가져올 지는 지켜봐야 하겠지만, 향후 애플과 구글의 AR 앱 생태계 주도권을 쥐기 위한 경쟁은 치열하게 전개될 것으로 보임


Ø 그 과정에서 새로운 기술이 단기간에 수억 대의 스마트폰에서 이용 가능하게 되는, 컴퓨터 역사에서도 매우 드문 상황이 연출될 것으로 보이는데, 그런 면에서 보더라도 2017년은 여러 전문가들의 예상대로 진정한 AR의 원년이 될 가능성이 높아졌음

※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1814호(2017. 9. 20. 발행)에 기고한 원고입니다.


▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

AR은 수직통합 VR은 수평분업 상반된 전략 병행하는 MS.pdf



ž 시애틀에는 가상현실(VR)과 증강현실(AR) 분야 스타트업들이 많이 모여 들고 있는데, 이곳에 마이크로소프트(MS)가 있다는 사실도 그 이유 중 하나임


Ø VR AR 기술의 스타트업들은 당연히 하이테크의 집적지인 실리콘밸리, 영화산업의 메카인 LA로 많이 모여들고 있으나, 이 두 도시에 버금가는 것이 시애틀임


Ø 2017 1분기에 시애틀 지역에 모인 총 벤처 투자액은 3억 달러로 실리콘밸리 지역에 투자된 67억 달러에 비하면 20분의 1에도 못 미치지만, VRAR 분야만 떼 놓고 보면 상당한 자금과 기업이 시애틀에 모여들고 있음


Ø 그 이유 중 하나는 인재 풀로, VRAR 콘텐츠 및 소프트웨어를 만들기 위해서는 유니티(Unity) 같은 개발 도구를 이용한 3D 모델링 기술이 필수적인데, 이 스킬을 가진 인재를 풍부하게 보유한 게임 회사들이 실리콘밸리와 LA에 이어 시애틀에 많이 있음


Ø , 게임업계의 인재들이 VR/AR 분야 스타트업으로 흘러 들어 간다고 추정할 수 있고, 이런 점에서 시애틀에 본사를 둔 MS의 존재를 빼놓을 수 없는데, MS는 게임사업 부문인 X박스(Xbox)가 있기 때문에 VR/AR 인재의 수요 진작에도 크게 기여해 왔기 때문


Ø 무엇보다 MSAR 글래스와 VR 헤드마운트디스플레이(HMD)를 개발하고 있는 대형 기술기업이기도 하며, 시애틀의 VR/AR 분야 스타트업 중에는 MS 출신이거나 MS와 공동 프로젝트를 진행하는 등 협업관계를 가진 곳들이 많음


ž 스마트폰 시대가 도래하며 위상이 많이 추락한 MS는 부활의 모멘텀 찾기에 사활을 걸고 있는데, VR/AR 분야는 MS 재도약 발판의 하나로 꼽히고 있음


Ø PC 시장의 90% 이상을 윈도 OS가 점유하고 있지만, 노키아의 휴대전화 사업부문을 인수하는 등 갖은 노력에도 불구, 모바일에서 윈도 폰의 점유율은 0.3%로 사실상 없는 것과 마찬가지


Ø MS가 모바일에서의 실패를 만회하기 위해서는 포스트 스마트폰 시대를 철저히 준비할 수밖에 없는데, 이런 절박함은 VR/AR 분야에 대한 적극적인 투자에서 잘 드러남


Ø AR VR의 용도가 어느 정도 구분되어 있기에 대부분의 기술 기업이 어느 한쪽을 공략하는 것에 비해 MS는 현재 양쪽 모두를 공략하고 있음


Ø 2013년 오스터하우트 디자인그룹(Osterhout Design Group, ODG)으로부터 AR 글래스 관련 81 건의 특허를 인수한 이래 MS는 수년 간의 개발을 거쳐 2015 1월에 윈도 혼합현실(Windows Mixed Reality, WMR)이라는 OS를 탑재한 AR 글래스 홀로렌즈(HoloLens)를 공개하였음


Ø 홀로렌즈는 PC나 케이블 연결이 필요 없고, 위치 추적 센서를 내장해 가상세계의 객체를 현실세계와 거의 정확히 겹쳐서 표시하며, 음성 입력 및 제스처 컨트롤을 구현하는 등 당시 하이엔드 VR 헤드셋이나 AR 글래스에서 볼 수 없었던 기능을 선보이며 대단한 호평을 받았음


Ø MSAR 글래스에 이어 VR에도 적극적 자세를 보이고 있으며, 2016 10월에 윈도 10 기반의 PC에 연결해 사용하는 VR HMD를 발표했는데, OS는 홀로렌즈와 같은 WMR을 채택하고 있지만 소프트웨어와 하드웨어의 개발은 분업 체제를 취하고 있음


<자료> Microsoft


[그림 1] MS의 윈도 10 기반 VR 헤드셋


Ø MS는 자신들의 제품을 AR이나 VR로 부르지 않고 혼합현실(MR)이라 부르고 있는데, 이는 VR이냐 AR이냐 하는 구분은 그다지 중요한 것이 아니며, MS가 제공하는 OS가 어떤 장치에서도 작동하는 것이 중요하다는 소프트웨어 중심적 사고 방식이 반영된 것으로 보임


Ø MS는 현재 눈에 가까운 디스플레이(Near Eye Display)라는 이름의 세 번째 MR 기기를 개발 중인데, 올해 5월에 공개한 프로토타입은 얇은 안경과 같은 장치로 사용자의 시야에 홀로그램을 겹쳐서 표시할 수 있다고 함


<자료> Microsoft Research


[그림 2] MS의 홀로그래픽 디스플레이



ž MSVR AR에 임하는 개발 전략은 대조적인데, VR에서는 PC와 같은 수평 분업 방식을 택한 반면, AR[서는 윈도 폰과 같은 수직 통합 방식을 택하고 있음


Ø , AR에서는 홀로렌즈의 경우에서 보듯 하드웨어와 소프트웨어를 모두 직접 개발하고 있으며, VR 에서는 하드웨어 제조를 HP나 레노버 같은 파트너에 위탁하고 있는 것


Ø 이는 제품의 성숙도 차이에 따라 각기 다른 전략을 펼치는 것으로 해석할 수 있는데, MS의 주력 분야는 어디까지나 윈도 OS를 비롯한 소프트웨어에 있다는 점을 염두에 둘 필요가 있음


Ø AR 글래스는 기술적 난이도가 높고, 하드웨어와 소프트웨어를 긴밀하게 통합할 필요가 있기 때문에 MS에서 모두 직접 다룬다는 방침을 세운 것으로 보임


Ø 반면 VR HMD는 소프트웨어 핵심 기술이 거의 확립되어 있다고 판단한 것으로 보이며, 조만간 하드웨어 제조가 급속도로 진행될 것이기 때문에 MS VR 소프트웨어 개발에 주력하고 하드웨어 개발은 제조업체에 맡기려는 것으로 보임


Ø 이런 해석이 맞다면, AR 글라스의 경우도 핵심 소프트웨어 기술이 어느 정도 확립된 것으로 판단되는 시점에서 하드웨어 개발을 아웃소싱으로 전환할 가능성이 높음


Ø MS 전략의 특징은 홀로렌즈를 먼저, VR용 헤드셋을 나중에 출시한 제품화 순서에도 나타나는데, 이미 많은 제품이 북적거리는 VR HMD 시장에서 뒤쳐지지 않기 위해 VR 헤드셋을 먼저 출시했을 수도 있지만 굳이 시장 확대에 시간이 걸릴 AR 글래스를 먼저 선보인 것임


Ø 아이폰 등장 이후 근 10여년 동안 여러 실패를 겪어온 MS이기에, 급할수록 돌아간다는 마음으로 어떤 기업보다도 장기적이고 치밀한 관점에서 VR/AR 시장에 임하려는 것으로 보임

※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1806호(2017. 7. 26 발행)에 기고한 원고입니다.


▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

2018년 AR 원년을 준비하는 &lsquo;2세대 AR 글래스&rsquo; 제품들.pdf



[ 요 약 ]


페이스북삼성전자소니 등 거대기업들이 제품 경쟁을 벌이고 있는 VR(가상현실시장과 달리, AR(증강현실분야에서는 포켓몬GO 정도가 관심을 끌고 있을 뿐 일반인에 판매되는 전용 기기를 찾아보기 어려움그러나 AR 기기는 VR 기기보다 먼저 등장했으며구글이 글래스 사업을 철수한 이후에도 여러 업체들이 꾸준히 제품 개발을 이어오고 있음. MS가 홀로렌즈를 출시한 것을 비롯성능을 개선한 2세대 AR 기기들이 모습을 드러내며 2018 AR시장 원년의 도래를 준비하고 있음



[ 본 문 ]


ž VR(가상현실)용 헤드마운트디스플레이(HMD)가 다수 출시된 것에 비해 일반인에 판매되는 AR(증강현실)용 기기는 별로 없는 상황이지만, AR 기기는 VR 기기보다 먼저 등장했음


Ø 주요 VR HMD가 일반 소비자용으로 출시되기 시작한 것은 2016년이지만, 일반 대중을 위한 AR 글래스들이 등장한 것은 2012년경으로 이들을 1세대 AR 글래스라 부를 수 있음


Ø 1세대 AR 기기의 대표적인 제품은 널리 알려진 구글 글래스2012 4월에 처음 공개되었으며, 2013 2월 개발자용부터 정식 판매를 시작했는데 당시 가격은 1,500달러였음


Ø 발표 당시 구글은 구글 글래스를 일상생활에서 사용할 수 있는 기기로 자리매김했는데, 컨셉 비디오를 통해 음성 명령으로 목적지까지 경로를 구글 지도로 검색하거나, 이용자가 본 것을 자동으로 인식하여 관련 정보를 검색하여 표시해 주는 등의 활용 사례를 소개하였음


Ø 그러나 실제로는 배터리 시간, 이미지 인식 정확도 등 여러 문제점이 드러났으며, 구글 글래스의 실제 성능이 컨셉 비디오와는 거리가 먼 것으로 판명되자, 구글은 2015 1월에 일반용 판매를 중단하고 다시 연구 개발 단계에 돌려 보냈음


Ø 언론들이 많은 보도를 했고 소비자들의 관심도 높았지만, 결국 구글이 목표로 한 것은 당시 기술의 한계를 넘어선 것이었다는 평을 받는 것으로 끝났으며, 이후 구글은 거의 3년이 지난 올해 6월에서야 구글 글래스 기능의 업데이트를 다시 시작하였음


ž 구글 글래스가 세간의 관심을 독점하는 바람에 잘 드러나진 않았지만, 비슷한 시기에 여러 일본업체가 AR 글래스를 출시했으며 기업 시장에서 조용한 반향을 일으키고 있기도 함


Ø 사실 AR 기기 시장을 선도적으로 개척한 곳은 구글이 아니라 일본의 복합기 기업들이었는데 세이코 엡손은 이미 2011 11월에 시야를 가리지 않고 일반 안경처럼 주위를 볼 수 있는 시쓰루(see through) 방식의 AR 글래스 모베리오(MOVERIO) BT-100을 출시한 바 있음


<자료> Seiko Epson

[그림 1] 세이코 엡슨의 모베리오 BT-350


Ø 모베리오 글래스는 HMD와 외부 컨트롤러로 구성되어 있으며 OS는 안드로이드를 채택했는데, 세이코 엡손은 초기 BT-100 모델을 주로 소비자 엔터테인먼트 용도로 판매했지만 이후 2014 4월에 출시한 후속 모델 BT-200은 기업용임을 강조하는 전략으로 선회


Ø 2017 5월 말에 출시된 모베리오 시리즈의 최신 모델 BT-350 OLED 디스플레이를 채택했으며 멀리 볼수록 화면이 크게 보이는데, 세이코 엡손은 320인치 휴대형 개인용 극장을 구현할 수 있다는 컨셉을 강조하며 다시 소비자 엔터테인먼트 시장을 공략하려는 모습을 보이고 있음


Ø 캐논 역시 2012 7엠리얼(MREAL) HM-A1 제품을 출시했는데, 캐논은 이 제품을 MR(혼합현실) 기기라 불렀으며 설계 및 디자인 등의 용도에 특화된 기업용 기기로 자리매김하였는데, 실제로 캐논의 AR 글래스를 빠르게 도입한 곳은 도요타와 혼다 등 자동차 기업들이었음


ž 기업용 시장에서 AR 기기의 활용도는 현재 VR 기기의 활용 목적과 거의 흡사한데, 주로 설계 및 개발 단계에서 완성품의 이미지를 미리 가상으로 접해볼 수 있게 해주는 것임



Ø 가령 도요타는 생산기술 부문에서 AR 기기를 도입했는데, 이 부문의 역할은 새로운 자동차 및 부품에 따라 공장에서 사용하는 생산 설비를 개발·제조하는 것으로, 엠리얼 글래스는 설계한 생산 설비가 현장의 작업자에게 친화적인지 여부를 확인하는 데 사용되고 있음



<자료> Canon

[동영상도요타가 도입한 캐논의 엠리얼


Ø 새로운 생산 설비를 디자인 할 경우 3D 컴퓨터 그래픽 모델을 작성한 다음, 생산 설비를 사용하게 될 여러 작업자들에게 엠리얼을 착용하여 3D 모델을 보면서 피드백을 하게 하는데, 이를 통해 공장에서 앞으로 다룰 새로운 설비를 작업자들이 실제 크기로 미리 체감해 보게 할 수 있음


Ø 작업자들은 일 하기에 작업대가 너무 낮다거나 버튼 위치가 좀 더 오른쪽에 있어야 한다 등의 구체적 소감이나 수정 요구사항을 피드백 할 수 있게 되는데, 현실에 가상 현실을 투영 할 수 있는 AR 글래스의 특성을 충분히 살린 활용법이라 할 수 있음


ž 미국에서도 구글의 글래스 사업 철수에 아랑곳 않고 몇몇 업체가 AR 글래스 제품을 출시해 오고 있는데, 여기에는 반도체 분야 거인인 인텔도 포함되어 있음


Ø 미국에서 기업용 AR 글래스의 선구자라고 할 수 있는 곳은 1997년에 설립된 뷰직스(Vuzix)인데, 원래 군사용 디스플레이 기술을 개발하던 이곳은 2013 1CES 가전 전시회에서 첫번째 소비자용 AR 글래스 M100을 발표했으며 그 해 12 999 달러에 정식 출시하였음


Ø 뷰직스는 2009년에 나스닥에 기업공개(IPO)를 했으며, M100 출시 이후인 2015 1월에는 인텔로부터 2,500만 달러의 투자를 유치하는 동시에 인텔과 웨어러블 기기 및 AR 사업 부문에서 전략적 제휴를 체결하였음


Ø 인텔은 2016 11월 뷰직스와 업무 제휴를 종료한다고 발표했는데, 이는 인텔의 관심이 떨어졌기 때문이 아니라 오히려 VR AR을 인텔의 차기 주축사업의 하나로 자리매김하며 보다 적극적으로 독자적인 행보를 하기로 결정한 데 따른 것임


<자료> Vuzix & Recon Instruments


[그림 2] 인텔이 인수한 뷰직스의 M-300()과 인텔인 인수한 레콘 인스트루먼트의 레콘 젯(아래)


Ø 인텔은 뷰직스에 대한 투자 이후 2015 6월에 캐나다의 AR 글래스 제조업체인 레콘 인스트루먼트(Recon Instruments)를 인수했는데, 레콘은 2008 년 창업해 인텔에 인수되기 전까지 주로 스키와 싸이클 경주 선수용 AR 글래스를 생산·판매하던 업체였음


ž 미국의 AR 글래스 업체 중 주목해야 할 곳은 ODG라는 업체인데, 마이크로소프트에 거액을 받고 기술을 매각하여 MS의 홀로렌즈 출시에 상당한 영향을 미쳤다는 평을 받고 있음


Ø 오스터하우트 디자인 그룹(Osterhout Design Group, ODG)의 행보는 여러 투자 펀드로부터 주목을 받아 왔는데. 1999년 창업한 이 회사는 미군과 정부를 대상으로 한 컨설팅 및 기술 개발로 성장해 왔으며, 특히 광학 기술과 관련해 많은 특허를 보유하고 있음


Ø ODG2013 11월에 AR 글래스 관련 81건의 특허를 마이크로소프트(MS) 1 5천만 달러에 매각했는데, 이 때는 아직 MSMR(복합현실) 기기인 홀로렌즈(HoloLens)를 발표하기 전으로, 2015 1월 소개된 홀로렌즈에는 ODG가 보유했던 기술이 적용된 것으로 추정됨


Ø MS가 인정한 높은 기술력을 가진 ODG2015 11월 처음 출시한 AR 글래스 제품은 'R-7'인데, 가격은 2,750 달러로 이전의 AR 글래스 제품들에 비해 몇 배나 높았지만 제품으로서 완성도도 매우 높은 평가를 받았음



<자료> wareable.com


[그림 3] ODG R-7()과 마이크로소프트 홀로렌즈(아래)의 산업 현장 활용 사례


Ø 디자인 면에서 보면 뷰직스나 레콘처럼 외부에 투영기를 붙이는 방식이 아니라 모두 내부에 탑재하고 있으며, OS는 엡손의 모베리오와 마찬가지로 안드로이드를 채택했으나 별도의 외부 컨트롤러 없이 내부에 통합한 것이 차이점


ž 1세대 AR 글래스 개발업체들이 나름 의미 있는 행보를 보이며 그들만의 경쟁을 벌이고 있지만, 아직 이들 제품이 시장에서 제대로 인식되고 있다고 보기는 어려움


Ø 엡손 BT-100 모델은 2011 11월 출시 이래 2014 1월까지 판매 대수가 5천 대로 목표인 1만 대의 절반에 불과했으며, 뷰직스의 M100 2015년 판매 대수가 약 2,500 대였는데 개념 자체가 아직 생소해 이용자들이 용도를 모색 중이라는 점이 판매 부진의 주요 원인으로 꼽혔음


Ø 성능이나 기능, 가격 등에서 아직 개선의 여지가 많다는 지적도 있는데, 특히 기능 면에서는 HMD의 위치를 ​​인식하여 사용자의 움직임과 시선의 방향에 맞게 영상을 이동시키는 포지셔널 트래킹(positional tracking) 기능의 개선이 시급하다는 평을 받고 있음


Ø 포지셔널 트래킹은 현재 VR HMD 기기에서는 일반적인 기능이지만 1세대 AR 글래스 대부분은 탑재하고 있지 않은데, AR 글라스를 통해 문자나 영상 등을 투영할 수는 있지만 이용자가 움직이더라도 문자와 영상을 이용자 시선에서 벗어나지 않게 계속 투영하는 것은 어려움


Ø 현재는 입력 방법도 제한적이어서 1세대 AR 글래스의 입력 인터페이스는 안경테 측면이나 상단에 있는 버튼이나 터치 패드를 사용하는 것이 대부분


Ø VR HMD 제품에는 이용자가 손에 들고 가상 공간의 물체를 조작 할 수 있는 컨트롤러가 포함되어 있는 경우가 많지만, 1세대 AR 글래스에는 컨트롤러가 포함되어 있지 않으며 음성 입력 및 조작 기능도 제한적임


ž 이러한 1세대 제품의 한계를 넘어선 기능을 갖춘 2세대 글래스들의 경쟁이 시작되고 있는데, 아직 초기 단계이지만 MS와 애플 등이 참전하며 판이 커질 조짐을 보이고 있음


Ø 2세대 제품의 서막을 연 것은 마이크로소프트로, 2016 3월 홀로렌즈(HoloLens)를 개발자 전용으로 3천 달러에 판매하기 시작하였음



Ø 미국의 스타트업 다큐리(DAQRI)가 개발한 제품은 오토바이 헬멧처럼 생긴 AR 기기인데, 제품명도 스마트 헬멧이며 안경 타입의 제품에 비해 시야가 넓고 보다 고성능의 CPU와 센서를 탑재할 수 있다고 함


[동영상 2] ODG R-7()과 마이크로소프트 홀로렌즈(아래)의 산업 현장 활용 사례


Ø 다큐리의 스마트 헬멧은 이미 몇몇 산업현장에서 시설 관리용으로 도입되었으며, 네덜란드의 경찰청이 도입한 데 이어 최근에는 미국 해군이 전투함에 도입한다고 발표하였음



<자료> Next Reality


[그림4] 미 해군에 도입된 다큐리의 스마트 헬멧


Ø 이 밖에도 올해 말에 AR 글래스 제품을 출시 예정인 메타(Meta), 구글과 알리바바로부터 14억 달러의 투자를 유치했지만 아직 한번도 실제 제품을 발표하지 않고 있는 베일에 쌓인 매직 리프 기업(Magic Leap) 등이 2세대 AR 시장을 이끌 것으로 기대되고 있음


Ø 스냅챗(Snapchat) 메신저를 운영하고 있는 스냅(Snap) AR 글래스 시장에 뛰어들었으며, 애플 역시 모종의 AR 기기를 개발 중이라는 루머가 끊이지 않는 등, 거대기업과 스타트업들이 2세대 AR 글래스 시장을 향해 물밑에서 치열한 경쟁을 벌여 나가고 있음


ž 기술 산업에서 보통 실제적인 시장 경쟁은 2세대 이상의 제품에서 벌어지므로, 현재 개발중인 2세대 제품들이 다수 출시될 2018년이 AR의 진정한 원년이 될 것으로 예상됨


Ø 일반적으로 새로운 분야의 제품이 등장 할 경우 첫 번째 세대의 역할은 시장을 개척하는 의미가 크며, 실제적인 개발 경쟁과 시장 경쟁은 2세대 이상에서 치열하게 전개됨


Ø VR 시장도 1세대 제품들의 시행착오를 극복한 2세대 제품들이 2016년에 다수 등장하며 본격적인 행보를 시작했는데, AR 시장도 이와 유사해서 2세대 제품들이 다수 등장하게 될 2018년이 실질적인 AR 원년이 될 것이란 전망이 나오고 있음


Ø 여기에는 VR의 도움이 크게 작용할 것으로 보이는데, VR 시장의 대두로 인해 AR에 대한 소비자의 인지도가 높아졌으며, 동시에 VR 기기의 한계가 자연스레 AR에 대한 관심으로 이어질 것이란 분석임


Ø VR 기기들이 응용분야를 넓히려 애쓰기는 하지만 아직은 게임에만 치우쳐 있으며 게임 분야를 벗어나면 VR 기기에 본질적으로 내재된 사회적 고립의 문제에 직면할 수밖에 없는 데 비해, AR 기기들은 다큐리나 캐논의 예에서 보듯 이미 B2B 시장에서 좋은 반응을 얻고 있기 때문


Ø 시장이 거는 기대는 VR 분야보다 AR 분야가 훨씬 큰 것으로 나타나는데시장조사기관 디지-캐피털(Digi-Capital)이 발표한 예측에 따르면, 2018년까지는 VR 시장 규모가 AR을 웃돌겠지만, 2019년에 반전하여 2021 AR 시장규모는 VR 4 배인 약 800억 달러에 달할 전망


<자료> Digi-Capital

[그림 6] 2016~2021 VR/AR 시장 매출 전망



Ø 올 하반기 업체들의 움직임을 보면 이런 전망이 현실화될 지를 가늠할 수 있을 것으로 보이며, 특히 애플의 움직임이 주목받고 있는데, 스마트폰을 이용한 모바일 AR 기술이 향후 AR 기기 시장 확대를 견인할 것으로 예상하기 때문

※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1795호(2017. 5. 10 발행)에 기고한 원고입니다.


▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

기술사기 의혹받는 매직리프.pdf



ž 혼합현실(Mixed Reality, MR) 기술로 거액의 투자를 받아 화제가 되었던 스타트업 매직 리프(Magic Leap)는 제품 출시가 지연되며 기술력에 대한 시장의 의문에 직면하고 있음


Ø 가상현실(VR)이 유행하며 새로운 흥미를 끌기가 쉽지 않은 상황에서도, 소비자들이 언제 제품을 출시할까 손꼽아 기다리는 기업이 있는데, 바로 이미 13 9,000만 달러의 투자를 유지한 미국의 스타트업 매직 리프(Magic Leap)


Ø 매직 리프의 창업자인 로니 아보비츠는 로봇 팔을 이용하여 무릎 관절의 임플란트 수술 기술을 개발하는 마코 서지컬(MAKO Surgical)이라는 의료 로봇 기업을 2004년에 공동 설립한 후 매각했다가 증강현실(AR) 영역에 새롭게 진출하며 매직 리프를 창업하였음


Ø 2011년 창업된 매직 리프에는 구글, 알리바바 외에도 유명 VC(벤처 캐피탈)인 안드레센 호로비츠, 클라이너 퍼킨스 코필드 & 바이어, 반도체 업체의 VC 부문인 퀄컴 벤처스 등 쟁쟁한 기업들이 앞다퉈 투자하였으며, 이 덕분에 기업가치는 45억 달러로 인정받고 있음


Ø 그러나 기대가 높은 만큼 제품의 발표가 계속 지연되면서 구설수에 오르고 있는데, 매직 리프의 지나친 비밀주의와 맞물려 실제로 개발이 잘 안되고 있는 것은 아닌가, 기술력을 과장했다가 뒷감당을 못하는 것이 아닌가 하는 의심까지 제기되고 있음


Ø 무엇보다 가상현실(VR) 분야의 경쟁이 이미 격화되고 있기 때문에, 매직 리프의 제품이 이미 시장에 나와있는 제품의 성능을 크게 웃돌지 않는 이상 소비자들이 실망할 가능성이 높아진 상황이 되었다는 것이 매직 리프에게는 매우 좋지 않은 사업 여건임


ž 매직 리프의 기술은 마이크로소프트의 홀로렌즈(HoloLens)와 유사한 것으로 VR의 단점을 상당부분 해소하며 다양한 분야에서 활용될 것이란 기대를 받았음


Ø 모든 이미지를 컴퓨터 렌더링에 의해 만들어 내는 VR과 달리 MR은 눈앞의 현실 세계를 HMD (헤드 마운트 디스플레이)에 비춰 보이고 그 위에 가상의 영상이 겹쳐 비추는 기술임


Ø 매직 리프의 핵심 기술은 포토닉스 라이트 필드(Photonics Light Field)라 부르는 것으로, 사람들이 현실세계에서 눈으로 보는 빛의 세계와 상당히 흡사한 방식으로 사용자의 눈에 가상의 영상을 전달함으로써 현실세계와 가상세계가 자연스럽게 조화되도록 하는 것이 특징


Ø 매직 리프가 지금까지 발표한 데모 영상은, 사무실에 침입한 외계인이나 로봇에 대항해 가상의 무기를 들고 싸우거나, 업무용 응용프로그램의 화면이 책상 위 허공에 보여지고 이를 몸짓으로 조작하는 것 등을 보여주고 있음


<자료> Magic Leap


[동영상] 매직 리프의 혼합현실(AR) 데모 영상


Ø 또한 체육관에 모여 있는 아이들 앞에서 거대한 고래가 점프하거나, 손바닥 위에 새끼 코끼리가 올라 앉아 있는 데모 영상 등은 많은 사람들에게 예술적인 콘텐츠의 가능성을 제시하였음


Ø VR의 경우 HMD를 착용하면 외부세계와 완전히 차단되기 때문에 몰입감 있는 체험을 즐길 수 있지만, 반면 주위와 너무 고립되어 다른 사람들이 보면 아무래도 우스꽝스러운 모습이 될 수밖에 없고, 이용자 자신도 주위가 보이지 않아 안전에 대한 우려로 이용을 꺼릴 수 있다는 지적이 있어 왔음


Ø VR에 대한 기대가 높아지는 만큼 여러 가지 제약도 거론되고 있던 터라, 매직리프의 MRVR의 부자연스러움이나 위험 요소를 제거해 응용 범위를 확산시킬 것으로 기대를 받았던 것


ž 매직 리프가 사업범위를 확장하기 위한 준비를 하느라 제품 출시가 늦어진다는 긍정적 해석도 있지만, 제품이 출시되기 전까지는 이런저런 악성 루머가 계속 나돌 것으로 전망


Ø 매직 리프가 각광을 받았던 이유 중에는 이용하는 HMD가 상당히 경량인데다가 함께 제공되는 부속 컴퓨터도 스마트폰 정도의 소형이라는 소문의 영향도 컸음


<자료> Business Insider


[그림 1] 사기 논란을 부른 내부 사진


Ø 그러나 배낭 같은 큰 컴퓨터를 짊어지고 있는 매직 리프 직원의 모습이 담긴 내부 사진이 유출되면서 엉뚱한 소문이 퍼졌고, 매직 리프는 이 컴퓨터는 실내 데이터를 얻기 위해 사용한 것으로 MR에 사용되는 실제 제품이 아니라며 필사적인 해명에 나서야만 했음


Ø 아울러 매직 리프가 공개한 데모 영상이 실은 컴퓨터 그래픽을 이용한 기술 사기가 아니었냐는 악성 루머까지 돌아 이에 대한 해명도 해야 했음


Ø 진위야 어쨌든 매직 리프가 올해 안에는 HMD를 출시할 것이라고 선언했기 때문에 몇 개월 내에 기술력을 실제로 확인할 수 있게 될 것임


Ø 매직 리프는 최근 콘텐츠 제작업체인 퍼지큐브 소프트웨어(Fuzzycube Software)를 인수하고 다수의 애니메이터들을 고용한 것으로 알려지고 있음


Ø 이를 두고 애널리스트들은 하드웨어와 콘텐츠를 통합적으로 제공하는 포지셔닝을 목표로 하고 있고 이 때문에 비즈니스 속도가 더뎌지고 있는 것이라 분석하기도 하나, 실제로 제품이 출시되기 전까지는 앞으로도 이런저런 소문이 끊이지 않을 전망


Ø 가볍게 시작한 스타트업이라면 개발 상황 정보가 더 많이 공유되었겠지만, 거액의 투자 자금을 유치함에 따라 운신의 폭이 줄어든 점은 매직 리프에게 제약이 되고 있으며, 지나치게 높은 시장의 기대감에 부응하는 제품을 내놓아야 한다는 압박에 처해 있는 것으로 보임

※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1794호(2017. 5. 3 발행)에 기고한 원고입니다.


▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

혼합현실이용 치과치료 지원 시스템.pdf



ž 소프트뱅크 산하 리얼라이즈 모바일 커뮤니케이션즈(Realize Mobile Communications)는 혼합현실(MR) 헤드마운트디스플레이(HMD)를 이용한 치과 치료 지원 시스템을 개발했다고 발표


Ø 리얼라이즈 모바일 커뮤니케이션즈는 치과 의료기기 업체인 모리타(Morita)와 시스템을 공동 개발했는데, 모리타는 영상진단 및 CAD 등 컴퓨터를 이용한 치과 의료 혁신 노력을 지속해왔음


Ø 모리타는 미래의 기술발전 방향을 고려할 때 증강현실(AR)과 혼합현실(MR)을 활용함으로써 치과 치료의 정확성을 높일 수 있을 것으로 생각했다며 개발 배경을 설명



<자료> Realize Mobile Communications


[동영상] 혼합현실 이용 치과치료 지원 시스템


Ø 양사가 개발한 새로운 시스템은 영상 진단 결과라는 가상 공간과 눈앞의 실재 환자라는 현실 공간을 복합시키는 MR 기술을 활용한 것으로, 치과 의사는 오큘러스 VR(Oculus VR)오큘러스 리프트(Oculus Rift cv1)를 착용한 상태에서 환자를 치료하게 됨


Ø HMD 화면에는 치료 전에 실시한 방사선 사진 등 영상 진단 결과와 환자의 모습이 실시간으로 겹쳐서 표시되는데, 이로써 육안으로는 보이지 않는 잇몸 내부의 신경도 마킹되어 표시됨


Ø 지금까지는 영상 이미지와 환자의 모습을 번갈아 보면서 신경의 위치를 ​​추측하여 치료를 해야만 했으나, 새로운 시스템을 이용하면 시선을 눈앞에 있는 환자의 입안에 집중시킨 채 신경의 위치를 ​​정확히 파악하면서도 손상이 되지 않도록 치료를 할 수 있게 됨


Ø 양사는 2년 후에 치과대학 등에서 교육 및 연수 용도로 실용화할 것을 목표로 시스템을 보다 정교하게 발전시켜 나갈 예정임


Ø 교육 및 연수 용으로 사용할 경우 필요한 조작은 동작 인식 인터페이스를 통해 이루어지며 가상의 치과 의료기기도구를 이용해 실습을 하게 됨



<자료> Realize Mobile Communications


[그림 1] 동작 인식 인터페이스


ž MR을 이용한 새로운 치과 치료 시스템의 현단계 과제는 HMD의 해상도 문제이며, 마이크로소프트의 홀로렌즈 등 새로운 HMD의 채택을 검토하고 있음


Ø 새로운 시스템 개발에 협력한 치과의사들은 MR 시스템이 임플란트 치료를 할 경우 구멍을 뚫는 각도와 깊이 등의 정밀도를 쉽게 높일 수 있다며 만족감을 표시


Ø 반면 교육 및 연수 용도라면 지금도 충분히 사용 가치가 있지만, 임상 현장에서 실제 환자에 사용하기 위해서는 아직 개선의 여지가 있다는 평가를 내리고 있음


Ø 현단계 과제 중 하나는 HMD의 해상도인데, 오큘러스 리프트 cv1의 디스플레이와 카메라의 해상도 수준으로는 치료 부위를 직접 보고 싶을 때 화질이 다소 떨어지는 문제가 있다는 평가


Ø 해상도가 높은 HMD 기기들도 나오기 시작하고 있긴 하지만, 처리하는 데이터의 양이 증가하는 만큼 데이터 전송에 지연이 발생할 가능성이 있고, 고해상도 기기일수록 무게가 늘어나 치과 의사가 착용할 경우 머리와 목에 부담이 가능 문제도 고려해야 함


Ø 리얼라이즈 모바일 커뮤니케이션즈는 HMD 기기로는 오큘러스 리프트 외에 마이크로소프트의 홀로렌즈(Microsoft HoloLens) 등을 포함해 보다 적합한 기기를 채택하기 위한 검토를 진행 중


Ø 향후 기술과 인프라의 발전 속도에 따라 고해상도 영상을 실시간으로 쉽게 처리하는 HMD가 빠른 속도로 개발될 가능성이 있기 때문에, MR을 이용한 치과 치료 시스템이 임상 현장에 투입되는 것도 현재 예상보다 앞당겨질 수 있을 것으로 기대