※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1857호(2018. 8. 1. 발행)에 기고한 원고입니다.


▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

인텔, VR과 자유 시점 영상으로 스포츠 중계 혁신 시도.pdf



인텔이 자사의 영상 기술인 ‘True VR’‘True View’를 스포츠 중계에 확산시키기 위한 노력을 강화하고 있음


‘True VR’은 인텔이 개발한 가상현실(VR) 기술로 지난 2월 평창 동계 올림을 비롯, NBA(미 프로농구)PGA 투어(미 프로골프) 등에서 360도 영상의 라이브 스트리밍과 하이라이트 영상 서비스에 사용된 바 있음


‘True View’는 이스라엘의 스타트업 리플레이 테크놀로지(RePlay Technologies)’가 개발한 ‘FreeD’라는 기술을 바탕으로 하고 있음


FreeD 는 실내 또는 실외 경기장의 스탠드에서 경기장을 향해 30~50 대의 카메라를 빙 둘러 설치하고, 각 카메라에서 촬영한 이미지를 연결하고 보완함으로써 시점을 이동하여 볼 수 있는 동영상을 제작하는 기술임


<자료> Intel Experience

[동영상인텔 FreeD 기술를 이용한 ‘360도 리플레이' 영상 서비스


인텔은 2016 년에 리플레이 테크놀로지를 인수한 이후 FreeD 기술의 개발을 지속해 왔으며, 작년과 올해 수퍼볼 결승전에서 중요 순간 선수의 시야가 어땠는지를 보여 주는 자유 시점 영상 전송을 ‘Be the Player’라는 서비스 명칭으로 제공한 바 있음


<자료> Intel Experience

[동영상인텔의 True View 기술을 이용한 ‘Be the Player’ 영상 서비스


인텔은 최근 True VR에 사용되는 카메라 장비를 업그레이드 하였으며, 이를 통해 True VR을 이용해 중계되는 스포츠 경기가 늘어날 것으로 기대하고 있음 


지난 5월 인텔의 스포츠 산업 부문인 인텔 스포츠는 카메라 장비를 개발하는 미국의 알키아 시스템즈(Altia Systems)와 제휴를 체결하였음


이 제휴를 통해 인텔은 VR 촬영에 사용되는 카메라 포드를 자체 장비에서 알티아 시스템의 파나캐스트 라이브(PanaCast Live)’로 대체한다고 발표하였음


▸ 이전까지 True VR에서는 12개의 카메라를 내장한 반원형의 카메라 포드 2개를 사용하여 촬영해왔는데이에 비해 파나캐스트 라이브 장비는 6개의 카메라로 구성되어 있으며 13 메가 픽셀 영상을 초당 60 프레임으로 촬영할 수 있음


▸ 또한 파나캐스트 라이브 장비는 영상 합성 기능을 자체 내장하고 있기 때문에 이전보다 장비의 설치 및 조정이 간소화되는 이점이 있는데이를 통해 인텔은 True VR을 통한 경기 중계가 보다 용이해질 것으로 기대하고 있음




[그림 2] True VR 카메라 포드의 이전 버전(위)과 새로 도입한 알티아의 파나캐스트 라이브(아래)


한편 True View와 관련해서는 올해 1월 열린 CES 행사에서 로스앤젤레스 공항 근처에 True View 전용의 인텔 스튜디오가 만들어진 사실이 공개되어 화제를 모은 바 있음


이 스튜디오는 돔 형태로 면적은 약 2,300 m2이며, 수많은 카메라와 조명이 스튜디오 내부의 전 영역을 커버하도록 설치되어 있는데, 이는 자유 시점 영상의 제작에 특화 한 시설이라 할 수 있음



인텔 스튜디오는 스포츠 중계용으로 국한된 시설은 아니며, 영화 스튜디오인 파라마운트 픽쳐스 등이 이용 가능성을 타진할 정도의 전문 영상 제작 시설임


스튜디오에서 콘텐츠를 제작하기로 결정한 곳이 바로 NFL 산하 NFL 전문 케이블 채널인 NFL 네트워크였으며, 이 채널은 선수의 능력 등을 과학적으로 분석하는 프로그램에 True View를 활용하였음


인텔은 고화질의 자유 시점 영상을 촬영할 수 있는 인텔 스튜디오가 스포츠 경기의 분석 및 선수 개개인의 분석에 기여할 것이라 보고 있음



인텔이 스포츠 중계 기술에 공을 들이고 있다는 사실은 인텔의 투자 부문인 인텔 캐피탈의 최근 투자 활동을 통해서도 확인할 수 있음


인텔 캐피탈은 5월에 열린 인텔 캐피탈 글로벌 서밋에서 모바일 플랫폼 개발 기업인 베뉴넥스트(VenueNext)’에 투자한다고 발표하였음


베뉴넥스트는 모바일 앱에서 True View를 이용하여 선수의 플레이를 곧 바로 리플레이해서 볼 수 있게 하는 기술을 개발하고 있음


이 기술은 우선 NFL 산하 샌프란시스코 49ers와 미네소타 바이킹스 팀의 모바일 앱에 탑재될 예정이며, 20189월 시즌 개막부터 이용할 수 있게 한다는 계획



한편 이 같은 인텔 스포츠의 적극적인 행보는 확실히 새로운 스포츠 시청 경험을 제공할 수 있을 것이나, 당장은 시행착오를 겪을 것이란 지적도 있음


방금 벌어진 플레이를 곧바로 모바일 단말기를 통해 전에 볼 수 없었던 시점의 영상으로 리플레이 할 수 있다면 확실히 새로운 관전 경험이 만들어질 것이나, 현재로서는 기대만큼의 성과가 없을 수 있으며 미래도 밝지만은 않다는 우려의 목소리도 있음


사실 베뉴넥스트는 이미 49ers 팀의 앱을 통해 모바일 앱에서 즉시 리플레이 하는 기능을 제공해 오고 있으나, 생각보다 이 기능의 이용 빈도는 높지 않은 것으로 나타남


이 기능은 2014년 개막전부터 제공되었는데, 당시 개막전 경기에서 7,800번 이용되었던 것이 시즌 막바지 무렵에는 경기당 4천 회 미만으로 감소하였으며, 지난 시즌에는 경기당 1천 회 미만으로 떨어졌고 이에 대해 구단 CEO는 큰 실망감을 표출한 바 있음


인스턴트 리플레이는 멋진 기능인데 왜 사용 빈도가 줄어드는 지에 대해서는 몇 가지 분석이 있는데, 우선 경기장 내에 설치된 대형 스크린에서도 즉시 리플레이 영상을 보여주고 있다는 점이 원인으로 꼽히고 있음


또한 트위터 등 SNS를 통해서도 인스턴트 리플레이 동영상이 전달되므로 이들과도 경쟁을 해야 하는데, 모바일 앱에서 이들보다 빠르게 인스턴트 리플레이 동영상이 제공되지 않는다면 이용하고 싶어 하는 마음을 내기는 어려울 것임


인텔 True View의 경우 NFL 경기를 38대의 5K 카메라를 이용해 촬영하는데, 30초 분량만 해도 1 TB(테라바이트)가 되기 때문에 데이터 처리에 적잖은 시간이 걸리고 그 만큼 팀 전용 모바일 앱은 불리함을 안고 있는 것임


인텔이 스포츠 산업 분야에서 응용 범위를 넓히겠다고 발표했기 때문에, 이러한 문제점들은 장기적으로 해결되어 갈 것이라 기대해 볼 수 있지만 당분간은 시행착오가 이어질 가능성도 배제할 수 없음


※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1780호(2017. 1. 25 발행)에 기고한 원고입니다. 


▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

인텔 스포츠 사업부문 신설 - VR 스포츠 중계에 적극 투자.pdf



◈ 인텔은 올해 CES에서 스포츠의 미래를 언급하며, 가상현실(VR)이 스포츠 관람 방식을 근본적으로 바꿀 것이라 말했는데, VR 중계에 큰 사업 기회가 있다고 판단한 것으로 보임


이를 위해 인텔은 최근 관련 기술을 인수 중인데, 작년 11월 인수한 VR 전문 스타트업 보크(Voke) VR 영상 촬영 장치인 TrueVR(트루VR)을 개발하고 있음


<자료> Voke.


[그림 1] 보크의 VR 촬영도구 트루VR


• 입체 카메라가 파노라마 형태로 여러 대 배치된 트루VR 장비를 사용하여 스포츠나 패션 쇼 등을 촬영하면 몰입감 있는 VR 영상을 촬영할 수 있다고 하는데, 해상도가 높고 왜곡도 적기 때문에 자연스러운 현장감을 맛볼 수 있는 것이 장점


보크의 시스템으로 촬영한 VR 영상은 PC 기반 VR 플랫폼뿐 아니라 태블릿, 스마트폰에서도 감상할 수 있는데, 모바일 분야로 사업 확장을 끊임없이 시도하고 있는 인텔에게는 꽤 유효한 무기가 될 수 있을 것으로 관측됨


인텔은 보크 인수를 통해 실시간 스포츠 영상을 VR 헤드셋에 중계한다는 전략을 한층 강화할 수 있게 될 것으로 전망되는데, 이미 확보한 시청 도구, 재생 도구와 함께 촬영 도구까지 모두 보유할 수 있게 되었기 때문


◈ 인텔이 작년 3월에 인수한 Replay Technologies(리플레이 테크놀로지)의 기술도 주목할 만한데, 이 기업은 라이브 방송에서 하이라이트 부분을 입체적으로 재생하는 기술을 개발 중


리플레이 테크놀로지의 기술은 경기장에 30대 정도의 카메라를 설치하고 여기에서 얻은 수 많은 2차원 이미지를 합성하여 3차원의 입체적인 영상을 생성하는 것.


인텔은 이미 NBA와 제휴를 맺고 다양한 각도에서 하이라이트를 감상할 수 있는 프리D(free D) 서비스를 제공 중인데, 이것이 바로 리플레이 테크놀로지의 기술에 기반한 것


[동영상] NBA의 freeD 리플레이 서비스 (Powered by Intel) - 2016 덩크 콘테스트


앞서 언급한 보크의 VR 영상을 보기 위해서는 헤드마운트디스플레이(HMD)의 장착이 필요하지만, 리플레이 테크놀로지의 영상은 HMD 장착 없이, 맨눈으로 입체 영상을 즐길 수 있다는 것이 장점


이 영상들은 TV 중계뿐 아니라 경기장에 설치된 전광판을 통해서도 제공되며, 보는 이들은 하이라이트 화면이 입체적으로 회전하는 가운데 선수들의 결정적 움직임을 다이내믹하고 정확하게 포착함으로써 독특한 관람 경험을 느낄 수 있음


• 국내에서도 작년부터 스포츠 중계에 4D 플레이라는 명칭으로 동일한 서비스가 제공되고 있는데, 이는 국내업체 이에스엠랩의 기술에 기반한 것으로, 현재 이런 기술을 가진 업체는 전세계적으로 이에스엠랩과 리플레이 테크놀로지 두 곳 밖에 없다고 함


[동영상] 이에스엠랩의 4D 플레이 기술을 활용한 현장 마케팅 이벤트 


◈ 인텔은 2016년에 새로 스포츠 사업부문인 인텔 스포츠 그룹을 만들었는데, 이는 스포츠 중계 부문에서 향후 고도의 컴퓨터 처리 능력이 필요할 것으로 내다봤기 때문


프로 스포츠에서는 생중계는 물론 경기장 직접 관람 시에 사용자 경험을 어떻게 차별화하고 고도화할 것인가가 핵심 아젠다로 떠오르고 있는데, 인텔은 이를 위해 반드시 필요한 것이 고도의 영상 처리를 뒷받침 하기 위한 컴퓨터 칩의 능력 개선이라 파악한 것


인텔의 투자 부문인 인텔 캐피탈이 투자하고 있는 스타트업 중에도, 스포츠 및 스포츠 중계와 관련해 새롭고 주목할 만한 기술을 개발하는 곳들이 여럿 있음



<자료> Dysonics


[그림 3] 인텔이 투자한 3차원 음향기술 다이소닉스


• 가령 스타트업 Dysonics(다이소닉스)3차원 음향을 재구성하는 기술을 개발하고 있는데, 이를 이용하면 3차원 음향과 VR 영상을 결합함으로써 중계를 보고 있는 시청자들에게 마치 경기장에 있는 것 같은 경험 제공이 가능함


또한 Kinduct Technologies(킨덕트 테크놀로지)라는 스타트업은 스포츠 선수의 생체 정보와 훈련 정보를 통합, 분석하여 이상적인 건강 관리 및 트레이닝 전략을 예측하는 기술을 개발 중인데, 이는 프로 스포츠 구단을 대상으로 한 솔루션이라 할 수 있음


◈ 스포츠는 지금 IoT 기술과 접목되며 선수와 관람객, 시청자 모두에게 새롭게 재탄생하고 있기에, 스포츠 부문에 새로운 기회가 있다고 판단한 인텔의 결정은 합리적인 것으로 보임


<자료> GeekWire

[그림 4] 스포츠 데이터 처리용 큐리 칩


• 최근 스포츠 분야에서는 선수들의 몸에 센서를 부착하여 각종 데이터를 수집하고 이를 실시간으로 분석한 결과를 선수들과 관객 및 시청자에 제공하려는 실험이 활발하며, 조만간 모든 스포츠 종목으로 확산될 것으로 예상됨


특히 자동차나 오토바이 등의 곡예 주행을 겨루는 '익스트림 스포츠'에서는 선수의 헬멧과 차량에 센서를 붙이고 회전 속도와 균형 등을 모니터링 하는 기술은 선수들의 기량 증진과 스포츠 중계, 양 측면에서 큰 인기를 얻고 있음


선수들과 관객들의 호응이 커질수록 기술 도입 수요가 늘어날 것이며, 이는 인텔의 큐리(Curie) 같은 고속의 영상 및 데이터 처리에 적합한 반도체 칩이 뒷받침되어야 함을 의미