KDDI의 자유 시점 영상 전송 테스트로 본 5G의 가능성과 과제

※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1857호(2018. 8. 1. 발행)에 기고한 원고입니다.

▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

KDDI의 자유 시점 영상 전송 테스트로 본 5G의 가능성과 과제.pdf

[ 요 약 ]

5G의 표준 사양이 제정된 직후 KDDI는 삼성전자와 공동으로 5G를 이용한 실시간 자유 시점 영상 스트리밍 서비스의 실증 실험을 언론에 공개하였음. 이번 실험은 타자의 모습을 다양한 각도에서 볼 수 있는 VR 영상을 0.5초 만에 생성하여 관중석의 태블릿에 전송하는 것으로 5G가 새로운 사용자 경험을 가져올 것이란 기대를 갖게 하였음. 반면 높은 비용 소요와 5G의 고주파수 사용에 따른 문제점 등 향후 연구과제들도 명확하게 드러났다는 평가

[ 본 문 ]

◾ KDDI와 삼성전자는 지난 6월 27일 오키나와 셀룰러 스타디움에서 5G를 이용한 자유 시점(free viewpoint) 영상의 실시간 전송 실증실험을 언론에 공개하였음

▸ 6월 14일 전세계 통신사업자 및 통신장비 제조업체, 휴대전화 제조업체 등 51개 기업은 5G 무선통신 방식인 ‘5G NR(New Radio)’의 표준 사양 제정을 완료했다고 발표했는데, 이로써 향후 5G의 상용화를 위한 준비가 적극적으로 전개될 계기가 마련되었음

▸ 이 실험은 프로야구 경기 도중 경기장 내에 설치된 5G 네트워크를 이용해 타자의 자유 시점 영상을 관객의 태블릿에 전달함으로써, 보통 한 방향에서밖에 볼 수 없는 타격 모습을 모든 각도에서 볼 수 있게 함으로써 새로운 스포츠 관전 스타일을 구현하는 것이 목적이라고 함

▸ 이미 전세계 각국에서 5G를 활용한 새로운 서비스 창출 노력이 적극적으로 진행되고 있는데, KDDI와 삼성전자가가 협력을 맺고 진행하는 5G 기반 ‘자유 시점 영상 실시간 전송’ 실증 실험도 그 중 하나임

<자료> ITpro

[그림 1] 5G 기반 자유 시점 영상 전달 실험

▸ 6월 27일에는 실증 실험이 언론에 처음으로 공개되었는데, 장소는 오키나와현 나하시의 오키나와 셀룰러 스타디움 나하로, 이 경기장에서는 올해 3월에 5G를 이용해 4K 영상을 기기 50대에 동시 전달하는 실험이 시행된 바 있음

◾ 이번에 공개된 실험은 KDDI가 개발하고 있는 2가지의 자유 시점 영상 기술 중 ‘자유 시점 VR(가상현실)’ 영상을 0.5초의 지연 시간으로 10대의 태블릿에 실시간 전송하는 것이었음

▸ 자유 시점 영상 전송 기술을 프로 스포츠 중계에 적용하려는 시도는 이번이 처음인데, 평창올림픽의 5G 기술 시연에 자극받은 일본은 2019년 럭비 월드컵, 2020년 도쿄 올림픽·패럴림픽 개최를 앞두고 스포츠의 새로운 매력을 느낄 수 있게 해 줄 기술과 비즈니스의 개발에 적극 나서고 있음

▸ 가령 경기장에서 야구를 관전할 때 방금 터진 홈런을 자신의 자리에서는 볼 수 없었던 각도에서 확인하거나, 집으로 자유 시점 영상을 전달해 VR의 HMD(헤드 마운트 디스플레이)를 사용해 현장감 있는 영상을 즐기는 것이 가능하게 하겠다는 것

▸ 실시간(0.5초의 지연 시간) 자유 시점 영상 전송 기술은 KDDI 연구소가 개발하였는데, 자유 시점 영상은 ‘타임 슬라이스(time slice) 자유 시점’과 ‘자유 시점 VR'의 두 가지가 있으며, 이번에 실증 실험한 것은 이 중 자유 시점 VR 기술이었음

<자료> xTech

[그림 2] 자유 시점 VR 영상의 이용 화면

▸ 한편 타임 슬라이스 자유 시점 영상은 KDDI가 투자하고 있는 미국의 벤처기업 ‘4D REPLAY’가 채택하고 있는 기술로, 경기장에 설치한 다수의 카메라로 얻은 영상들을 단말기 조작을 통해 즉시 전환하여 좋아하는 관점에서 볼 수 있게 해 줌

▸ 자유 시점 VR 영상은 스타디움과 필드에 설치 된 다수의 비디오 카메라 영상에서 선수 모습만 잘라 내 선수의 입체모델을 만들고, 이를 경기장 배경과 합성하여 360도 입체 영상으로 만든 것으로, 모든 시점의 영상을 비교적 적은 카메라 대수로 구현할 수 있음

▸ 타임 슬라이스 자유 시점 영상의 실증 실험은 2017년 8월 열렸는데, 1루와 3루 덕아웃 위와 홈 플레이트 뒤쪽 펜스를 따라 비디오 카메라를 100대 설치해 수비수가 공을 잡는 순간이나 투수가 공을 놓는 순간 등을 실시간으로 여러 각도에서 볼 수 있게 하였음

◾ 자유 시점 VR 영상 기술은 설치 카메라 대수가 적은 장점이 있는 반면, 실시간으로 360도 영상을 생성해야 하기 때문에 컴퓨팅에 걸리는 부하가 큰 것이 단점임

▸ 이번 실험에서 KDDI는 자유 시점 영상을 촬영하기 위해 타석 전용의 비디오 카메라 16대를 내야 스탠드 뒤쪽에 설치하였고, 내야 관중석에는 실시간으로 VR 영상을 받아볼 수 있는 삼성전자의 태블릿 10대를 설치하였음

▸ 영상을 실시간으로 전송하려면 카메라 수는 가능한 한 적은 것이 바람직하지만, 그렇다고 너무 적으면 영상이 부자연스럽게 되는데, KDDI 연구소는 선수를 촬영할 때 15도 이내의 범위에 1대 설치하는 것을 품질 기준으로 설정하고 있음

▸ 카메라의 영상을 받는 서버 실에는 16대의 카메라 영상에서 타자 부분을 발췌하여 기본 3D 모델을 만드는 서버와, 내야에 설치된 10대의 태블릿에 전송할 관객이 원하는 시점의 영상을 만드는 10대의 서버가 설치되어 있음

▸ 이 기준에 따른다면 최소 24대의 카메라 설치가 필요한데, 오키나와 셀룰러 스타디움은 외야 스탠드가 없는 구조여서 내야 스탠드 뒤쪽에만 설치하다 보니 16대를 설치하게 되었다고 함

▸ 카메라의 영상에는 타자 외에 포수와 심판이 들어가지만 타자만을 추출해 3D 모델링을 하게 되며, 10대의 서버에서 관점의 지시에 따라 타자의 3D 모델에 미리 준비한 배경 이미지 등을 합성하게 되는 것임

<자료> xTech

[그림 3] 자유시점 VR 전송 시스템 구성도

▸ 0.5초의 지연 시간을 두고 거의 실시간으로 이 영상들을 전송하기 위해서는 당연히 상당한 컴퓨팅 자원이 필요하므로, 서버에는 그래픽 처리 성능이 뛰어난 게임용 그래픽 보드인 엔비디아의 'GeForce GTX 1080'을 탑재함

▸ 영상의 프레임 속도는 30fps로 작성에 0.5초가 걸리고 이것이 지연 시간이 되는 것인데, 이 생성 시간은 알고리즘의 연구에 따라 추가로 단축될 수 있음

◾ 이번 실증 실험에서 5G 영상의 전송은 10대의 태블릿에 전송해야 했기 때문에 통신 속도가 높은 28Ghz 대역의 700MHz 대역폭을 사용하였음

▸ 이번 실험에 사용된 태블릿은 5G 통신 모듈을 탑재한 삼성전자의 시제품인데, 4K 영상의 재생은 지원하지 않기 때문에 카메라가 촬영한 4K 영상을 자유 시점 영상으로 생성할 때 풀 HD로 변환하였음

▸ 각 자유 시점 영상의 비트 레이트는 1대당 10Mbps이므로 10대 합해 100Mbps였으며, 이 10대분의 영상을 5G 기지국에 보내 5G 네트워크로 태블릿에 전송하였음

▸ KDDI에 따르면 28GHz 대역의 통신 속도는 다운로드의 경우 실제 측정치가 2.4Gbps이며, 서브 6의 대역폭 100MHz를 이용한 경우 다운로드 속도는 260Mbps라고 함

▸ 5G에 채택이 예정되어있는 주파수 대역은 28GHz 이상의 밀리미터파와 ‘서브 식스(sub-6)’라 불리는 6GHz 이하가 있지만 이번 실험에서는 많은 단말에 영상을 전달할 필요가 있었기 때문에 통신 속도가 높은 28GHz 대역의 700MHz 대역폭을 사용하였음

▸ 5G 안테나는 3루쪽 파울 존의 뒤쪽에 있는 조명탑에 4기를 설치했는데, 1루측과 3루측으로 각각 2개의 안테나가 향하도록 하였음

<자료> xTech

[그림 4] 조명탑에 설치된 5G 안테나

◾ 관람석에 설치된 태블릿에는 16개의 자유 시점 영상을 볼 수 있는 전용 앱이 설치되어 있는데, 이 앱은 KDDI 연구소가 개발하였음

▸ 앱 화면의 인터페이스는 화면의 주변부에 16 대의 카메라 영상을 작게 표시하고 그 중 선택한 영상이 중앙에 보이는 방식이며, 중앙의 타자 영상을 손가락으로 누른 상태에서 움직이면(swiping) 자유 시점으로 변화함

▸ 전용 앱에는 ‘녹화 버튼’도 준비되어 있는데, 이를 누르면 10초 분량의 영상을 녹화하고 재생하는 것이 가능함

◾ 이번 실증 실험은 자유 시점 영상을 실시간으로 전달하는 것이 가능하다는 것을 보여주었다는 점에 의의가 있지만, 비용문제 등 사업화를 위한 과제도 명확히 드러났다는 평가

▸ 중계방송 기술이 점차 고도화되고 시청자의 눈이 높아져 어설픈 시도가 받아들여지기 어려운 프로 스포츠 중계에서 자유 시점 영상을 실시간으로 생성하여 전송하는 서비스는 대용량 고속 전송이 가능한 5G의 기술적 특성을 잘 보여준 것으로 평가됨

▸ KDDI는 이 기술의 비즈니스화에 대해 현재 검토 중인데, 기술의 응용 범위가 넓어 스포츠와 엔터테인먼트 외에도 다양한 분야에서 활용할 수 있다는 입장

▸ 겨우 10 대의 자유 시점 영상 처리에만도 수천만 원의 비용이 소요된다면 이는 사업화가 어렵다고 보아야 할 것임

▸ 그러나 사업화까지는 적잖은 과제가 남아 있다는 지적이 많은데, 무엇보다 현재 하나의 태블릿에 보내는 영상을 한 대의 서버가 처리함으로 인해 발생하는 고비용 저효율의 문제가 해결되어야 할 것으로 보임

▸ 이번 촬영의 대상은 타자로만 제한됐지만, 상용화가 되려면 투수나 야수를 자유 관점에서 보고 싶은 수요에도 대응해야 하는데, 이는 당연히 처리 시간과 비용 부담의 증가를 가져올 수밖에 없기 때문

▸ 따라서 1대의 서버에서 최소 수십 대 단말기분의 영상을 처리하는 등 기술 혁신이 반드시 필요할 것인데, KDDI도 카메라 1대의 커버 범위의 광역화와 이에 따른 처리시간의 지연 해결이 향후 주요 연구과제가 될 것이라는 입장을 밝히고 있음

<자료> Telecom TV

[그림 5] 실증 실험을 위한 서버 룸의 모습

◾ 또한 5G 기술에서 사용되는 28GHz 대역 주파수의 특성에 따른 문제점을 정확히 이해해, 실제 활용에서 소비자 경험을 방해하지 않도록 문제를 해결해야 한다는 지적도 나왔음

▸ 28GHz 대역의 주파수는 현재 LTE 등에서 사용되는 대역보다 높은 주파수인데, 전파는 주파수가 높을수록 직진성이 강해 장애물을 우회(회절)하기가 어려운 특성이 있으며, 인체에 닿으면 10dB 정도 감소하는 특성도 있음

▸ 이런 특성 때문에 경기장과 같이 사람이 밀집된 환경에서 28GHz 대역의 5G 서비스를 기획하려면 연구가 필요한데, KDDI에 따르면 태블릿과 안테나 사이에 사람이 들어가 버리거나 하면 전파가 차단되어 영상 재생이 중단되는 경우도 있다고 함

▸ 이번 실험처럼 외야 부근에서 전파를 보낼 경우 아무래도 통로 등을 걷는 사람에 의해 전파가 차단되는 것은 불가피하므로, 돔 구장처럼 지붕이 있으면 거기에 안테나를 설치해 관객석에 전송하는 것이 이상적일 것이라는 의견도 나왔음

▸ KDDI의 관계자 역시 28GHz 대역을 이용할 경우 돔 경기장은 통신 지역을 정비하기 용이하지만, 이번 실증 실험을 전개한 개방형 경기장은 정비가 어렵다는 점을 인정하였음

▸ 5G는 고속의 통신을 실현하기 위해 대역폭을 넓게 잡을 수 있는 높은 주파수 대역을 이용할 필요가 있지만, 5G 통신 지역 정비 관점에서는 선결해야 할 과제가 있다는 것임

◾ 이번 KDDI와 삼성전자의 실증 실험에서 다시 한 번 확인된 것은 5G를 이용한 서비스의 이상과 현실 사이의 괴리이며, 상용화 전까지 무수한 시행착오가 필요할 것이라는 점

▸ 그러나 6월에 사양 제정 작업이 마무리되었기 때문에, 앞으로는 이번 자유 시점 VR 영상의 실시간 전송 실험과 같이 일반 소비자들이 현실 생활 속에서 피부로 느낄 수 있는 형태의 서비스 시도가 보다 많아질 것임

▸ 올 초까지 5G와 관련한 실증 실험은 대부분 5G를 이용하는 부분이 실제로는 극히 일부이거나 구체성이 부족하다는 지적을 받아 왔음

<자료> PC Magazine

[그림 6] 다양한 5G 시범 서비스들

▸ 문제는 실제 상용 서비스에 가까운 노력이 늘어날수록 어쩌면 5G 기반 서비스의 현실과 한계가 가능성보다 도드라져 보일 우려도 없지 않다는 점인데, 하지만 5G의 본격적인 상용화 노력은 그 한계에서부터 시작해야 할 것임

▸ 현재 수준의 5G를 활용해 유용한 서비스를 창출하는 것은 당분간 큰 과제로 남겠지만, 한편으로 서비스 개시까지 아직 시간이 남아 있는 만큼 다양한 시행착오 속에서 5G의 킬러 서비스를 발견될 것으로 기대해 볼 수 있음

▸ 또 다시 막대한 주파수 경매 비용과 인프라 설치비를 투자해 5G 서비스를 전개하려는 통신사업자들로서는 소비자들이 기꺼이 지불할 만한 서비스를 만들어내지 못한다면 5G가 기회보다는 위험 요인이 될 것이기에 반드시 킬러 서비스를 찾아낼 것이기 때문