※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1857호(2018. 8. 1. 발행)에 기고한 원고입니다.


▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

KDDI의 자유 시점 영상 전송 테스트로 본 5G의 가능성과 과제.pdf



[ 요 약 ]


5G의 표준 사양이 제정된 직후 KDDI는 삼성전자와 공동으로 5G를 이용한 실시간 자유 시점 영상 스트리밍 서비스의 실증 실험을 언론에 공개하였음. 이번 실험은 타자의 모습을 다양한 각도에서 볼 수 있는 VR 영상을 0.5초 만에 생성하여 관중석의 태블릿에 전송하는 것으로 5G가 새로운 사용자 경험을 가져올 것이란 기대를 갖게 하였음. 반면 높은 비용 소요와 5G의 고주파수 사용에 따른 문제점 등 향후 연구과제들도 명확하게 드러났다는 평가



[ 본 문 ]


KDDI와 삼성전자는 지난 627일 오키나와 셀룰러 스타디움에서 5G를 이용한 자유 시점(free viewpoint) 영상의 실시간 전송 실증실험을 언론에 공개하였음


614일 전세계 통신사업자 및 통신장비 제조업체, 휴대전화 제조업체 등 51개 기업은 5G 무선통신 방식인 ‘5G NR(New Radio)’의 표준 사양 제정을 완료했다고 발표했는데, 이로써 향후 5G의 상용화를 위한 준비가 적극적으로 전개될 계기가 마련되었음


이 실험은 프로야구 경기 도중 경기장 내에 설치된 5G 네트워크를 이용해 타자의 자유 시점 영상을 관객의 태블릿에 전달함으로써, 보통 한 방향에서밖에 볼 수 없는 타격 모습을 모든 각도에서 볼 수 있게 함으로써 새로운 스포츠 관전 스타일을 구현하는 것이 목적이라고 함


이미 전세계 각국에서 5G를 활용한 새로운 서비스 창출 노력이 적극적으로 진행되고 있는데, KDDI와 삼성전자가가 협력을 맺고 진행하는 5G 기반 자유 시점 영상 실시간 전송실증 실험도 그 중 하나임


<자료> ITpro

[그림 1] 5G 기반 자유 시점 영상 전달 실험


627일에는 실증 실험이 언론에 처음으로 공개되었는데, 장소는 오키나와현 나하시의 오키나와 셀룰러 스타디움 나하로, 이 경기장에서는 올해 3월에 5G를 이용해 4K 영상을 기기 50대에 동시 전달하는 실험이 시행된 바 있음


이번에 공개된 실험은 KDDI가 개발하고 있는 2가지의 자유 시점 영상 기술 중 자유 시점 VR(가상현실)’ 영상을 0.5초의 지연 시간으로 10대의 태블릿에 실시간 전송하는 것이었음


자유 시점 영상 전송 기술을 프로 스포츠 중계에 적용하려는 시도는 이번이 처음인데, 평창올림픽의 5G 기술 시연에 자극받은 일본은 2019년 럭비 월드컵, 2020년 도쿄 올림픽·패럴림픽 개최를 앞두고 스포츠의 새로운 매력을 느낄 수 있게 해 줄 기술과 비즈니스의 개발에 적극 나서고 있음


가령 경기장에서 야구를 관전할 때 방금 터진 홈런을 자신의 자리에서는 볼 수 없었던 각도에서 확인하거나, 집으로 자유 시점 영상을 전달해 VRHMD(헤드 마운트 디스플레이)를 사용해 현장감 있는 영상을 즐기는 것이 가능하게 하겠다는 것


실시간(0.5초의 지연 시간) 자유 시점 영상 전송 기술은 KDDI 연구소가 개발하였는데, 자유 시점 영상은 타임 슬라이스(time slice) 자유 시점자유 시점 VR'의 두 가지가 있으며, 이번에 실증 실험한 것은 이 중 자유 시점 VR 기술이었음


<자료> xTech

[그림 2] 자유 시점 VR 영상의 이용 화면


한편 타임 슬라이스 자유 시점 영상은 KDDI가 투자하고 있는 미국의 벤처기업 ‘4D REPLAY’가 채택하고 있는 기술로, 경기장에 설치한 다수의 카메라로 얻은 영상들을 단말기 조작을 통해 즉시 전환하여 좋아하는 관점에서 볼 수 있게 해 줌


자유 시점 VR 영상은 스타디움과 필드에 설치 된 다수의 비디오 카메라 영상에서 선수 모습만 잘라 내 선수의 입체모델을 만들고, 이를 경기장 배경과 합성하여 360도 입체 영상으로 만든 것으로, 모든 시점의 영상을 비교적 적은 카메라 대수로 구현할 수 있음


타임 슬라이스 자유 시점 영상의 실증 실험은 20178월 열렸는데, 1루와 3루 덕아웃 위와 홈 플레이트 뒤쪽 펜스를 따라 비디오 카메라를 100대 설치해 수비수가 공을 잡는 순간이나 투수가 공을 놓는 순간 등을 실시간으로 여러 각도에서 볼 수 있게 하였음


자유 시점 VR 영상 기술은 설치 카메라 대수가 적은 장점이 있는 반면, 실시간으로 360도 영상을 생성해야 하기 때문에 컴퓨팅에 걸리는 부하가 큰 것이 단점임


이번 실험에서 KDDI자유 시점 영상을 촬영하기 위해 타석 전용의 비디오 카메라 16대를 내야 스탠드 뒤쪽에 설치하였고, 내야 관중석에는 실시간으로 VR 영상을 받아볼 수 있는 삼성전자의 태블릿 10대를 설치하였음


영상을 실시간으로 전송하려면 카메라 수는 가능한 한 적은 것이 바람직하지만, 그렇다고 너무 적으면 영상이 부자연스럽게 되는데, KDDI 연구소는 선수를 촬영할 때 15도 이내의 범위에 1대 설치하는 것을 품질 기준으로 설정하고 있음


카메라의 영상을 받는 서버 실에는 16대의 카메라 영상에서 타자 부분을 발췌하여 기본 3D 모델을 만드는 서버와, 내야에 설치된 10대의 태블릿에 전송할 관객이 원하는 시점의 영상을 만드는 10대의 서버가 설치되어 있음


이 기준에 따른다면 최소 24대의 카메라 설치가 필요한데, 오키나와 셀룰러 스타디움은 외야 스탠드가 없는 구조여서 내야 스탠드 뒤쪽에만 설치하다 보니 16대를 설치하게 되었다고 함


카메라의 영상에는 타자 외에 포수와 심판이 들어가지만 타자만을 추출해 3D 모델링을 하게 되며, 10대의 서버에서 관점의 지시에 따라 타자의 3D 모델에 미리 준비한 배경 이미지 등을 합성하게 되는 것임


<자료> xTech

[그림 3] 자유시점 VR 전송 시스템 구성도


0.5초의 지연 시간을 두고 거의 실시간으로 이 영상들을 전송하기 위해서는 당연히 상당한 컴퓨팅 자원이 필요하므로, 서버에는 그래픽 처리 성능이 뛰어난 게임용 그래픽 보드인 엔비디아의 'GeForce GTX 1080'을 탑재함


영상의 프레임 속도는 30fps로 작성에 0.5초가 걸리고 이것이 지연 시간이 되는 것인데, 이 생성 시간은 알고리즘의 연구에 따라 추가로 단축될 수 있음


이번 실증 실험에서 5G 영상의 전송은 10대의 태블릿에 전송해야 했기 때문에 통신 속도가 높은 28Ghz 대역의 700MHz 대역폭을 사용하였음


이번 실험에 사용된 태블릿은 5G 통신 모듈을 탑재한 삼성전자의 시제품인데, 4K 영상의 재생은 지원하지 않기 때문에 카메라가 촬영한 4K 영상을 자유 시점 영상으로 생성할 때 풀 HD로 변환하였음


자유 시점 영상의 비트 레이트는 1대당 10Mbps이므로 10대 합해 100Mbps였으며, 10대분의 영상을 5G 기지국에 보내 5G 네트워크로 태블릿에 전송하였음


KDDI에 따르면 28GHz 대역의 통신 속도는 다운로드의 경우 실제 측정치가 2.4Gbps이며, 서브 6의 대역폭 100MHz를 이용한 경우 다운로드 속도는 260Mbps라고 함


5G에 채택이 예정되어있는 주파수 대역은 28GHz 이상의 밀리미터파와 서브 식스(sub-6)’라 불리는 6GHz 이하가 있지만 이번 실험에서는 많은 단말에 영상을 전달할 필요가 있었기 때문에 통신 속도가 높은 28GHz 대역의 700MHz 대역폭을 사용하였음


5G 안테나는 3루쪽 파울 존의 뒤쪽에 있는 조명탑에 4기를 설치했는데, 1루측과 3루측으로 각각 2개의 안테나가 향하도록 하였음


<자료> xTech

[그림 4] 조명탑에 설치된 5G 안테나


관람석에 설치된 태블릿에는 16개의 자유 시점 영상을 볼 수 있는 전용 앱이 설치되어 있는데, 이 앱은 KDDI 연구소가 개발하였음


앱 화면의 인터페이스는 화면의 주변부에 16 대의 카메라 영상을 작게 표시하고 그 중 선택한 영상이 중앙에 보이는 방식이며, 중앙의 타자 영상을 손가락으로 누른 상태에서 움직이면(swiping) 자유 시점으로 변화함


전용 앱에는 녹화 버튼도 준비되어 있는데, 이를 누르면 10초 분량의 영상을 녹화하고 재생하는 것이 가능함


이번 실증 실험은 자유 시점 영상을 실시간으로 전달하는 것이 가능하다는 것을 보여주었다는 점에 의의가 있지만, 비용문제 등 사업화를 위한 과제도 명확히 드러났다는 평가


중계방송 기술이 점차 고도화되고 시청자의 눈이 높아져 어설픈 시도가 받아들여지기 어려운 프로 스포츠 중계에서 자유 시점 영상을 실시간으로 생성하여 전송하는 서비스는 대용량 고속 전송이 가능한 5G의 기술적 특성을 잘 보여준 것으로 평가됨


KDDI는 이 기술의 비즈니스화에 대해 현재 검토 중인데, 기술의 응용 범위가 넓어 스포츠와 엔터테인먼트 외에도 다양한 분야에서 활용할 수 있다는 입장


겨우 10 대의 자유 시점 영상 처리에만도 수천만 원의 비용이 소요된다면 이는 사업화가 어렵다고 보아야 할 것임


그러나 사업화까지는 적잖은 과제가 남아 있다는 지적이 많은데, 무엇보다 현재 하나의 태블릿에 보내는 영상을 한 대의 서버가 처리함으로 인해 발생하는 고비용 저효율의 문제가 해결되어야 할 것으로 보임


이번 촬영의 대상은 타자로만 제한됐지만, 상용화가 되려면 투수나 야수를 자유 관점에서 보고 싶은 수요에도 대응해야 하는데, 이는 당연히 처리 시간과 비용 부담의 증가를 가져올 수밖에 없기 때문


따라서 1대의 서버에서 최소 수십 대 단말기분의 영상을 처리하는 등 기술 혁신이 반드시 필요할 것인데, KDDI도 카메라 1대의 커버 범위의 광역화와 이에 따른 처리시간의 지연 해결이 향후 주요 연구과제가 될 것이라는 입장을 밝히고 있음


<자료> Telecom TV

[그림 5] 실증 실험을 위한 서버 룸의 모습


또한 5G 기술에서 사용되는 28GHz 대역 주파수의 특성에 따른 문제점을 정확히 이해해, 실제 활용에서 소비자 경험을 방해하지 않도록 문제를 해결해야 한다는 지적도 나왔음


28GHz 대역의 주파수는 현재 LTE 등에서 사용되는 대역보다 높은 주파수인데, 전파는 주파수가 높을수록 직진성이 강해 장애물을 우회(회절)하기가 어려운 특성이 있으며, 인체에 닿으면 10dB 정도 감소하는 특성도 있음


이런 특성 때문에 경기장과 같이 사람이 밀집된 환경에서 28GHz 대역의 5G 서비스를 기획하려면 연구가 필요한데, KDDI에 따르면 태블릿과 안테나 사이에 사람이 들어가 버리거나 하면 전파가 차단되어 영상 재생이 중단되는 경우도 있다고 함


이번 실험처럼 외야 부근에서 전파를 보낼 경우 아무래도 통로 등을 걷는 사람에 의해 전파가 차단되는 것은 불가피하므로, 돔 구장처럼 지붕이 있으면 거기에 안테나를 설치해 관객석에 전송하는 것이 이상적일 것이라는 의견도 나왔음


KDDI의 관계자 역시 28GHz 대역을 이용할 경우 돔 경기장은 통신 지역을 정비하기 용이하지만, 이번 실증 실험을 전개한 개방형 경기장은 정비가 어렵다는 점을 인정하였음


5G는 고속의 통신을 실현하기 위해 대역폭을 넓게 잡을 수 있는 높은 주파수 대역을 이용할 필요가 있지만, 5G 통신 지역 정비 관점에서는 선결해야 할 과제가 있다는 것임


이번 KDDI와 삼성전자의 실증 실험에서 다시 한 번 확인된 것은 5G를 이용한 서비스의 이상과 현실 사이의 괴리이며, 상용화 전까지 무수한 시행착오가 필요할 것이라는 점


그러나 6월에 사양 제정 작업이 마무리되었기 때문에, 앞으로는 이번 자유 시점 VR 영상의 실시간 전송 실험과 같이 일반 소비자들이 현실 생활 속에서 피부로 느낄 수 있는 형태의 서비스 시도가 보다 많아질 것임


올 초까지 5G와 관련한 실증 실험은 대부분 5G를 이용하는 부분이 실제로는 극히 일부이거나 구체성이 부족하다는 지적을 받아 왔음


<자료> PC Magazine

[그림 6] 다양한 5G 시범 서비스들


문제는 실제 상용 서비스에 가까운 노력이 늘어날수록 어쩌면 5G 기반 서비스의 현실과 한계가 가능성보다 도드라져 보일 우려도 없지 않다는 점인데, 하지만 5G의 본격적인 상용화 노력은 그 한계에서부터 시작해야 할 것임


현재 수준의 5G를 활용해 유용한 서비스를 창출하는 것은 당분간 큰 과제로 남겠지만, 한편으로 서비스 개시까지 아직 시간이 남아 있는 만큼 다양한 시행착오 속에서 5G의 킬러 서비스를 발견될 것으로 기대해 볼 수 있음


또 다시 막대한 주파수 경매 비용과 인프라 설치비를 투자해 5G 서비스를 전개하려는 통신사업자들로서는 소비자들이 기꺼이 지불할 만한 서비스를 만들어내지 못한다면 5G가 기회보다는 위험 요인이 될 것이기에 반드시 킬러 서비스를 찾아낼 것이기 때문

※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1857호(2018. 8. 1. 발행)에 기고한 원고입니다.


▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

인텔, VR과 자유 시점 영상으로 스포츠 중계 혁신 시도.pdf



인텔이 자사의 영상 기술인 ‘True VR’‘True View’를 스포츠 중계에 확산시키기 위한 노력을 강화하고 있음


‘True VR’은 인텔이 개발한 가상현실(VR) 기술로 지난 2월 평창 동계 올림을 비롯, NBA(미 프로농구)PGA 투어(미 프로골프) 등에서 360도 영상의 라이브 스트리밍과 하이라이트 영상 서비스에 사용된 바 있음


‘True View’는 이스라엘의 스타트업 리플레이 테크놀로지(RePlay Technologies)’가 개발한 ‘FreeD’라는 기술을 바탕으로 하고 있음


FreeD 는 실내 또는 실외 경기장의 스탠드에서 경기장을 향해 30~50 대의 카메라를 빙 둘러 설치하고, 각 카메라에서 촬영한 이미지를 연결하고 보완함으로써 시점을 이동하여 볼 수 있는 동영상을 제작하는 기술임


<자료> Intel Experience

[동영상인텔 FreeD 기술를 이용한 ‘360도 리플레이' 영상 서비스


인텔은 2016 년에 리플레이 테크놀로지를 인수한 이후 FreeD 기술의 개발을 지속해 왔으며, 작년과 올해 수퍼볼 결승전에서 중요 순간 선수의 시야가 어땠는지를 보여 주는 자유 시점 영상 전송을 ‘Be the Player’라는 서비스 명칭으로 제공한 바 있음


<자료> Intel Experience

[동영상인텔의 True View 기술을 이용한 ‘Be the Player’ 영상 서비스


인텔은 최근 True VR에 사용되는 카메라 장비를 업그레이드 하였으며, 이를 통해 True VR을 이용해 중계되는 스포츠 경기가 늘어날 것으로 기대하고 있음 


지난 5월 인텔의 스포츠 산업 부문인 인텔 스포츠는 카메라 장비를 개발하는 미국의 알키아 시스템즈(Altia Systems)와 제휴를 체결하였음


이 제휴를 통해 인텔은 VR 촬영에 사용되는 카메라 포드를 자체 장비에서 알티아 시스템의 파나캐스트 라이브(PanaCast Live)’로 대체한다고 발표하였음


▸ 이전까지 True VR에서는 12개의 카메라를 내장한 반원형의 카메라 포드 2개를 사용하여 촬영해왔는데이에 비해 파나캐스트 라이브 장비는 6개의 카메라로 구성되어 있으며 13 메가 픽셀 영상을 초당 60 프레임으로 촬영할 수 있음


▸ 또한 파나캐스트 라이브 장비는 영상 합성 기능을 자체 내장하고 있기 때문에 이전보다 장비의 설치 및 조정이 간소화되는 이점이 있는데이를 통해 인텔은 True VR을 통한 경기 중계가 보다 용이해질 것으로 기대하고 있음




[그림 2] True VR 카메라 포드의 이전 버전(위)과 새로 도입한 알티아의 파나캐스트 라이브(아래)


한편 True View와 관련해서는 올해 1월 열린 CES 행사에서 로스앤젤레스 공항 근처에 True View 전용의 인텔 스튜디오가 만들어진 사실이 공개되어 화제를 모은 바 있음


이 스튜디오는 돔 형태로 면적은 약 2,300 m2이며, 수많은 카메라와 조명이 스튜디오 내부의 전 영역을 커버하도록 설치되어 있는데, 이는 자유 시점 영상의 제작에 특화 한 시설이라 할 수 있음



인텔 스튜디오는 스포츠 중계용으로 국한된 시설은 아니며, 영화 스튜디오인 파라마운트 픽쳐스 등이 이용 가능성을 타진할 정도의 전문 영상 제작 시설임


스튜디오에서 콘텐츠를 제작하기로 결정한 곳이 바로 NFL 산하 NFL 전문 케이블 채널인 NFL 네트워크였으며, 이 채널은 선수의 능력 등을 과학적으로 분석하는 프로그램에 True View를 활용하였음


인텔은 고화질의 자유 시점 영상을 촬영할 수 있는 인텔 스튜디오가 스포츠 경기의 분석 및 선수 개개인의 분석에 기여할 것이라 보고 있음



인텔이 스포츠 중계 기술에 공을 들이고 있다는 사실은 인텔의 투자 부문인 인텔 캐피탈의 최근 투자 활동을 통해서도 확인할 수 있음


인텔 캐피탈은 5월에 열린 인텔 캐피탈 글로벌 서밋에서 모바일 플랫폼 개발 기업인 베뉴넥스트(VenueNext)’에 투자한다고 발표하였음


베뉴넥스트는 모바일 앱에서 True View를 이용하여 선수의 플레이를 곧 바로 리플레이해서 볼 수 있게 하는 기술을 개발하고 있음


이 기술은 우선 NFL 산하 샌프란시스코 49ers와 미네소타 바이킹스 팀의 모바일 앱에 탑재될 예정이며, 20189월 시즌 개막부터 이용할 수 있게 한다는 계획



한편 이 같은 인텔 스포츠의 적극적인 행보는 확실히 새로운 스포츠 시청 경험을 제공할 수 있을 것이나, 당장은 시행착오를 겪을 것이란 지적도 있음


방금 벌어진 플레이를 곧바로 모바일 단말기를 통해 전에 볼 수 없었던 시점의 영상으로 리플레이 할 수 있다면 확실히 새로운 관전 경험이 만들어질 것이나, 현재로서는 기대만큼의 성과가 없을 수 있으며 미래도 밝지만은 않다는 우려의 목소리도 있음


사실 베뉴넥스트는 이미 49ers 팀의 앱을 통해 모바일 앱에서 즉시 리플레이 하는 기능을 제공해 오고 있으나, 생각보다 이 기능의 이용 빈도는 높지 않은 것으로 나타남


이 기능은 2014년 개막전부터 제공되었는데, 당시 개막전 경기에서 7,800번 이용되었던 것이 시즌 막바지 무렵에는 경기당 4천 회 미만으로 감소하였으며, 지난 시즌에는 경기당 1천 회 미만으로 떨어졌고 이에 대해 구단 CEO는 큰 실망감을 표출한 바 있음


인스턴트 리플레이는 멋진 기능인데 왜 사용 빈도가 줄어드는 지에 대해서는 몇 가지 분석이 있는데, 우선 경기장 내에 설치된 대형 스크린에서도 즉시 리플레이 영상을 보여주고 있다는 점이 원인으로 꼽히고 있음


또한 트위터 등 SNS를 통해서도 인스턴트 리플레이 동영상이 전달되므로 이들과도 경쟁을 해야 하는데, 모바일 앱에서 이들보다 빠르게 인스턴트 리플레이 동영상이 제공되지 않는다면 이용하고 싶어 하는 마음을 내기는 어려울 것임


인텔 True View의 경우 NFL 경기를 38대의 5K 카메라를 이용해 촬영하는데, 30초 분량만 해도 1 TB(테라바이트)가 되기 때문에 데이터 처리에 적잖은 시간이 걸리고 그 만큼 팀 전용 모바일 앱은 불리함을 안고 있는 것임


인텔이 스포츠 산업 분야에서 응용 범위를 넓히겠다고 발표했기 때문에, 이러한 문제점들은 장기적으로 해결되어 갈 것이라 기대해 볼 수 있지만 당분간은 시행착오가 이어질 가능성도 배제할 수 없음