※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1857호(2018. 8. 1. 발행)에 기고한 원고입니다.


▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

KDDI의 자유 시점 영상 전송 테스트로 본 5G의 가능성과 과제.pdf



[ 요 약 ]


5G의 표준 사양이 제정된 직후 KDDI는 삼성전자와 공동으로 5G를 이용한 실시간 자유 시점 영상 스트리밍 서비스의 실증 실험을 언론에 공개하였음. 이번 실험은 타자의 모습을 다양한 각도에서 볼 수 있는 VR 영상을 0.5초 만에 생성하여 관중석의 태블릿에 전송하는 것으로 5G가 새로운 사용자 경험을 가져올 것이란 기대를 갖게 하였음. 반면 높은 비용 소요와 5G의 고주파수 사용에 따른 문제점 등 향후 연구과제들도 명확하게 드러났다는 평가



[ 본 문 ]


KDDI와 삼성전자는 지난 627일 오키나와 셀룰러 스타디움에서 5G를 이용한 자유 시점(free viewpoint) 영상의 실시간 전송 실증실험을 언론에 공개하였음


614일 전세계 통신사업자 및 통신장비 제조업체, 휴대전화 제조업체 등 51개 기업은 5G 무선통신 방식인 ‘5G NR(New Radio)’의 표준 사양 제정을 완료했다고 발표했는데, 이로써 향후 5G의 상용화를 위한 준비가 적극적으로 전개될 계기가 마련되었음


이 실험은 프로야구 경기 도중 경기장 내에 설치된 5G 네트워크를 이용해 타자의 자유 시점 영상을 관객의 태블릿에 전달함으로써, 보통 한 방향에서밖에 볼 수 없는 타격 모습을 모든 각도에서 볼 수 있게 함으로써 새로운 스포츠 관전 스타일을 구현하는 것이 목적이라고 함


이미 전세계 각국에서 5G를 활용한 새로운 서비스 창출 노력이 적극적으로 진행되고 있는데, KDDI와 삼성전자가가 협력을 맺고 진행하는 5G 기반 자유 시점 영상 실시간 전송실증 실험도 그 중 하나임


<자료> ITpro

[그림 1] 5G 기반 자유 시점 영상 전달 실험


627일에는 실증 실험이 언론에 처음으로 공개되었는데, 장소는 오키나와현 나하시의 오키나와 셀룰러 스타디움 나하로, 이 경기장에서는 올해 3월에 5G를 이용해 4K 영상을 기기 50대에 동시 전달하는 실험이 시행된 바 있음


이번에 공개된 실험은 KDDI가 개발하고 있는 2가지의 자유 시점 영상 기술 중 자유 시점 VR(가상현실)’ 영상을 0.5초의 지연 시간으로 10대의 태블릿에 실시간 전송하는 것이었음


자유 시점 영상 전송 기술을 프로 스포츠 중계에 적용하려는 시도는 이번이 처음인데, 평창올림픽의 5G 기술 시연에 자극받은 일본은 2019년 럭비 월드컵, 2020년 도쿄 올림픽·패럴림픽 개최를 앞두고 스포츠의 새로운 매력을 느낄 수 있게 해 줄 기술과 비즈니스의 개발에 적극 나서고 있음


가령 경기장에서 야구를 관전할 때 방금 터진 홈런을 자신의 자리에서는 볼 수 없었던 각도에서 확인하거나, 집으로 자유 시점 영상을 전달해 VRHMD(헤드 마운트 디스플레이)를 사용해 현장감 있는 영상을 즐기는 것이 가능하게 하겠다는 것


실시간(0.5초의 지연 시간) 자유 시점 영상 전송 기술은 KDDI 연구소가 개발하였는데, 자유 시점 영상은 타임 슬라이스(time slice) 자유 시점자유 시점 VR'의 두 가지가 있으며, 이번에 실증 실험한 것은 이 중 자유 시점 VR 기술이었음


<자료> xTech

[그림 2] 자유 시점 VR 영상의 이용 화면


한편 타임 슬라이스 자유 시점 영상은 KDDI가 투자하고 있는 미국의 벤처기업 ‘4D REPLAY’가 채택하고 있는 기술로, 경기장에 설치한 다수의 카메라로 얻은 영상들을 단말기 조작을 통해 즉시 전환하여 좋아하는 관점에서 볼 수 있게 해 줌


자유 시점 VR 영상은 스타디움과 필드에 설치 된 다수의 비디오 카메라 영상에서 선수 모습만 잘라 내 선수의 입체모델을 만들고, 이를 경기장 배경과 합성하여 360도 입체 영상으로 만든 것으로, 모든 시점의 영상을 비교적 적은 카메라 대수로 구현할 수 있음


타임 슬라이스 자유 시점 영상의 실증 실험은 20178월 열렸는데, 1루와 3루 덕아웃 위와 홈 플레이트 뒤쪽 펜스를 따라 비디오 카메라를 100대 설치해 수비수가 공을 잡는 순간이나 투수가 공을 놓는 순간 등을 실시간으로 여러 각도에서 볼 수 있게 하였음


자유 시점 VR 영상 기술은 설치 카메라 대수가 적은 장점이 있는 반면, 실시간으로 360도 영상을 생성해야 하기 때문에 컴퓨팅에 걸리는 부하가 큰 것이 단점임


이번 실험에서 KDDI자유 시점 영상을 촬영하기 위해 타석 전용의 비디오 카메라 16대를 내야 스탠드 뒤쪽에 설치하였고, 내야 관중석에는 실시간으로 VR 영상을 받아볼 수 있는 삼성전자의 태블릿 10대를 설치하였음


영상을 실시간으로 전송하려면 카메라 수는 가능한 한 적은 것이 바람직하지만, 그렇다고 너무 적으면 영상이 부자연스럽게 되는데, KDDI 연구소는 선수를 촬영할 때 15도 이내의 범위에 1대 설치하는 것을 품질 기준으로 설정하고 있음


카메라의 영상을 받는 서버 실에는 16대의 카메라 영상에서 타자 부분을 발췌하여 기본 3D 모델을 만드는 서버와, 내야에 설치된 10대의 태블릿에 전송할 관객이 원하는 시점의 영상을 만드는 10대의 서버가 설치되어 있음


이 기준에 따른다면 최소 24대의 카메라 설치가 필요한데, 오키나와 셀룰러 스타디움은 외야 스탠드가 없는 구조여서 내야 스탠드 뒤쪽에만 설치하다 보니 16대를 설치하게 되었다고 함


카메라의 영상에는 타자 외에 포수와 심판이 들어가지만 타자만을 추출해 3D 모델링을 하게 되며, 10대의 서버에서 관점의 지시에 따라 타자의 3D 모델에 미리 준비한 배경 이미지 등을 합성하게 되는 것임


<자료> xTech

[그림 3] 자유시점 VR 전송 시스템 구성도


0.5초의 지연 시간을 두고 거의 실시간으로 이 영상들을 전송하기 위해서는 당연히 상당한 컴퓨팅 자원이 필요하므로, 서버에는 그래픽 처리 성능이 뛰어난 게임용 그래픽 보드인 엔비디아의 'GeForce GTX 1080'을 탑재함


영상의 프레임 속도는 30fps로 작성에 0.5초가 걸리고 이것이 지연 시간이 되는 것인데, 이 생성 시간은 알고리즘의 연구에 따라 추가로 단축될 수 있음


이번 실증 실험에서 5G 영상의 전송은 10대의 태블릿에 전송해야 했기 때문에 통신 속도가 높은 28Ghz 대역의 700MHz 대역폭을 사용하였음


이번 실험에 사용된 태블릿은 5G 통신 모듈을 탑재한 삼성전자의 시제품인데, 4K 영상의 재생은 지원하지 않기 때문에 카메라가 촬영한 4K 영상을 자유 시점 영상으로 생성할 때 풀 HD로 변환하였음


자유 시점 영상의 비트 레이트는 1대당 10Mbps이므로 10대 합해 100Mbps였으며, 10대분의 영상을 5G 기지국에 보내 5G 네트워크로 태블릿에 전송하였음


KDDI에 따르면 28GHz 대역의 통신 속도는 다운로드의 경우 실제 측정치가 2.4Gbps이며, 서브 6의 대역폭 100MHz를 이용한 경우 다운로드 속도는 260Mbps라고 함


5G에 채택이 예정되어있는 주파수 대역은 28GHz 이상의 밀리미터파와 서브 식스(sub-6)’라 불리는 6GHz 이하가 있지만 이번 실험에서는 많은 단말에 영상을 전달할 필요가 있었기 때문에 통신 속도가 높은 28GHz 대역의 700MHz 대역폭을 사용하였음


5G 안테나는 3루쪽 파울 존의 뒤쪽에 있는 조명탑에 4기를 설치했는데, 1루측과 3루측으로 각각 2개의 안테나가 향하도록 하였음


<자료> xTech

[그림 4] 조명탑에 설치된 5G 안테나


관람석에 설치된 태블릿에는 16개의 자유 시점 영상을 볼 수 있는 전용 앱이 설치되어 있는데, 이 앱은 KDDI 연구소가 개발하였음


앱 화면의 인터페이스는 화면의 주변부에 16 대의 카메라 영상을 작게 표시하고 그 중 선택한 영상이 중앙에 보이는 방식이며, 중앙의 타자 영상을 손가락으로 누른 상태에서 움직이면(swiping) 자유 시점으로 변화함


전용 앱에는 녹화 버튼도 준비되어 있는데, 이를 누르면 10초 분량의 영상을 녹화하고 재생하는 것이 가능함


이번 실증 실험은 자유 시점 영상을 실시간으로 전달하는 것이 가능하다는 것을 보여주었다는 점에 의의가 있지만, 비용문제 등 사업화를 위한 과제도 명확히 드러났다는 평가


중계방송 기술이 점차 고도화되고 시청자의 눈이 높아져 어설픈 시도가 받아들여지기 어려운 프로 스포츠 중계에서 자유 시점 영상을 실시간으로 생성하여 전송하는 서비스는 대용량 고속 전송이 가능한 5G의 기술적 특성을 잘 보여준 것으로 평가됨


KDDI는 이 기술의 비즈니스화에 대해 현재 검토 중인데, 기술의 응용 범위가 넓어 스포츠와 엔터테인먼트 외에도 다양한 분야에서 활용할 수 있다는 입장


겨우 10 대의 자유 시점 영상 처리에만도 수천만 원의 비용이 소요된다면 이는 사업화가 어렵다고 보아야 할 것임


그러나 사업화까지는 적잖은 과제가 남아 있다는 지적이 많은데, 무엇보다 현재 하나의 태블릿에 보내는 영상을 한 대의 서버가 처리함으로 인해 발생하는 고비용 저효율의 문제가 해결되어야 할 것으로 보임


이번 촬영의 대상은 타자로만 제한됐지만, 상용화가 되려면 투수나 야수를 자유 관점에서 보고 싶은 수요에도 대응해야 하는데, 이는 당연히 처리 시간과 비용 부담의 증가를 가져올 수밖에 없기 때문


따라서 1대의 서버에서 최소 수십 대 단말기분의 영상을 처리하는 등 기술 혁신이 반드시 필요할 것인데, KDDI도 카메라 1대의 커버 범위의 광역화와 이에 따른 처리시간의 지연 해결이 향후 주요 연구과제가 될 것이라는 입장을 밝히고 있음


<자료> Telecom TV

[그림 5] 실증 실험을 위한 서버 룸의 모습


또한 5G 기술에서 사용되는 28GHz 대역 주파수의 특성에 따른 문제점을 정확히 이해해, 실제 활용에서 소비자 경험을 방해하지 않도록 문제를 해결해야 한다는 지적도 나왔음


28GHz 대역의 주파수는 현재 LTE 등에서 사용되는 대역보다 높은 주파수인데, 전파는 주파수가 높을수록 직진성이 강해 장애물을 우회(회절)하기가 어려운 특성이 있으며, 인체에 닿으면 10dB 정도 감소하는 특성도 있음


이런 특성 때문에 경기장과 같이 사람이 밀집된 환경에서 28GHz 대역의 5G 서비스를 기획하려면 연구가 필요한데, KDDI에 따르면 태블릿과 안테나 사이에 사람이 들어가 버리거나 하면 전파가 차단되어 영상 재생이 중단되는 경우도 있다고 함


이번 실험처럼 외야 부근에서 전파를 보낼 경우 아무래도 통로 등을 걷는 사람에 의해 전파가 차단되는 것은 불가피하므로, 돔 구장처럼 지붕이 있으면 거기에 안테나를 설치해 관객석에 전송하는 것이 이상적일 것이라는 의견도 나왔음


KDDI의 관계자 역시 28GHz 대역을 이용할 경우 돔 경기장은 통신 지역을 정비하기 용이하지만, 이번 실증 실험을 전개한 개방형 경기장은 정비가 어렵다는 점을 인정하였음


5G는 고속의 통신을 실현하기 위해 대역폭을 넓게 잡을 수 있는 높은 주파수 대역을 이용할 필요가 있지만, 5G 통신 지역 정비 관점에서는 선결해야 할 과제가 있다는 것임


이번 KDDI와 삼성전자의 실증 실험에서 다시 한 번 확인된 것은 5G를 이용한 서비스의 이상과 현실 사이의 괴리이며, 상용화 전까지 무수한 시행착오가 필요할 것이라는 점


그러나 6월에 사양 제정 작업이 마무리되었기 때문에, 앞으로는 이번 자유 시점 VR 영상의 실시간 전송 실험과 같이 일반 소비자들이 현실 생활 속에서 피부로 느낄 수 있는 형태의 서비스 시도가 보다 많아질 것임


올 초까지 5G와 관련한 실증 실험은 대부분 5G를 이용하는 부분이 실제로는 극히 일부이거나 구체성이 부족하다는 지적을 받아 왔음


<자료> PC Magazine

[그림 6] 다양한 5G 시범 서비스들


문제는 실제 상용 서비스에 가까운 노력이 늘어날수록 어쩌면 5G 기반 서비스의 현실과 한계가 가능성보다 도드라져 보일 우려도 없지 않다는 점인데, 하지만 5G의 본격적인 상용화 노력은 그 한계에서부터 시작해야 할 것임


현재 수준의 5G를 활용해 유용한 서비스를 창출하는 것은 당분간 큰 과제로 남겠지만, 한편으로 서비스 개시까지 아직 시간이 남아 있는 만큼 다양한 시행착오 속에서 5G의 킬러 서비스를 발견될 것으로 기대해 볼 수 있음


또 다시 막대한 주파수 경매 비용과 인프라 설치비를 투자해 5G 서비스를 전개하려는 통신사업자들로서는 소비자들이 기꺼이 지불할 만한 서비스를 만들어내지 못한다면 5G가 기회보다는 위험 요인이 될 것이기에 반드시 킬러 서비스를 찾아낼 것이기 때문