※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1853호(2018. 7. 4. 발행)에 기고한 원고입니다.


▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

2D 축구 경기 영상을 증강현실(AR)로 재현해 주는 신기술 개발.pdf



워싱턴 대학 연구팀은 구글, 페이스북과 협업을 통해 일반 2D 축구 경기 영상을 변환해 테이블 위에서 마치 실제 축구가 벌어지는 듯이 보여주는 증강현실(AR) 기술을 개발


연구팀은 솔트레이크 시티에서 열린 컴퓨터 비전 및 패턴 인식 컨퍼런스(Computer Vision and Pattern Recognition conference)’에서 탁자 위의 축구(Soccer On Your Tabletop)’라는 새로운 기술을 발표


이 기술은 2D 축구 영상을 입력받아 3D로 재구축한 후 탁자 등 평면 위에 투사해 주는 것으로, 이용자가 AR 헤드셋을 착용해 이 3D 경기 영상을 볼 수 있음


연구팀은 이 기술을 이용하면 직접 경기장에 가서 경기를 보는 것만큼 좋지는 않지만 TV를 통해 경기를 보는 것 보다는 더 나은 경험을 얻을 수 있다고 주장

 


<자료> Konstantinos Rematas

[그림 1] AR 기반 기술 탁자 위의 축구


탁자 위의 축구시스템은 입력된 경기 비디오를 면밀히 분석한 구 각 선수와 그들의 움직임을 개별적으로 추적함


그 다음 각 선수들의 움직임은 축구 비디오 게임에서 추출한 3D 모델로 매핑되며, 3D로 표현된 경기장 위에 배치되는데, 기본적으로 FIFA 18과 같은 게임을 실제 현실과 결합하여 일종의 미니어처를 만들어 낸 것이라 보면 됨


PC용 축구 게임에서 추출한 선수 데이터를 3D 공간에 재배치하는 작업은 컨볼루셔널 뉴럴 네트워크(CNN)’라는 딥러닝 알고리즘이 담당함


탁자 위의 축구는 아직 개발 도중에 있지만, 2D 영상을 모든 방향과 각도에서 볼 수 있는 입체 영상으로 재구성한다는 아이디어에는 큰 기대와 호평이 쏟아졌음


대략적인 기술 프로세스를 살펴보면, 우선 축구 경기장에는 흰색 라인이 그어져 있으므로 이를 카메라 보정에 사용하는데, 라인 선상 위에 늘어선 선수들을 감지해 각 선수의 몸의 움직임을 추정한 다음 그 앞뒤에 있는 선수의 움직임을 추적함


각 선수들의 동작 추적에서는 포즈의 심도까지 추정 가능하므로, 좌우의 어느 다리가 앞쪽에 있는지 등도 알 수 있음


마지막으로 메쉬를 생성하고 경기에 출전한 선수들의 데이터를 이용하여 경기 자체를 재구성하면, 마치 책상 위에서 축구 경기가 펼쳐지는 듯한 AR 경험을 제공할 수 있음


<자료> TechCrunch

[그림 2] AR 기반 3D 재구성 기술


탁자 위의 축구는 아직 개발 중인 만큼 선수의 움직임 등이 정확하게 재현되는 것이 아니며 해상도 역시 아직 완성도가 많이 떨어지지만, 한 각도의 영상을 모든 각도에서 볼 수 있는 입체 영상에 재구성 할 수 있다는 것은 멋진 아이디어라는 평가


축구 경기를 TV로 볼 때 나쁜 점은 모든 사람이 앉아서 단일 방향의 각도에서 잡은 똑같은 화면만을 바라보아야 한다는 것이고, 카메라에 잡히지 않은 장면은 알 수가 없기 때문에 작전과 전술을 이해하고 분석할 수 없다는 것임


이는 경기장에 직접 갈 경우 자리에 따라서 관객들이 보는 장면이 다 다르고, 모든 선수들의 움직임을 알 수 있는 관람 경험과 비교할 때 매우 아쉬운 점인데, 새로 선보인 탁자 위의 축구는 이런 문제를 해소할 수 있음


탁자 위의 축구기술의 소스코드는 현재 깃허브에 공개되어 있음(https://github.com/krematas/soccerontable)

댓글을 달아 주세요