보라빛 소를 만나기 위한 도약

※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1853호(2018. 7. 4. 발행)에 기고한 원고입니다.

▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

2D 축구 경기 영상을 증강현실(AR)로 재현해 주는 신기술 개발.pdf

◾ 워싱턴 대학 연구팀은 구글, 페이스북과 협업을 통해 일반 2D 축구 경기 영상을 변환해 테이블 위에서 마치 실제 축구가 벌어지는 듯이 보여주는 증강현실(AR) 기술을 개발

▸ 연구팀은 솔트레이크 시티에서 열린 ‘컴퓨터 비전 및 패턴 인식 컨퍼런스(Computer Vision and Pattern Recognition conference)’에서 ‘탁자 위의 축구(Soccer On Your Tabletop)’라는 새로운 기술을 발표

▸ 이 기술은 2D 축구 영상을 입력받아 3D로 재구축한 후 탁자 등 평면 위에 투사해 주는 것으로, 이용자가 AR 헤드셋을 착용해 이 3D 경기 영상을 볼 수 있음

▸ 연구팀은 이 기술을 이용하면 직접 경기장에 가서 경기를 보는 것만큼 좋지는 않지만 TV를 통해 경기를 보는 것 보다는 더 나은 경험을 얻을 수 있다고 주장

<자료> Konstantinos Rematas

[그림 1] AR 기반 기술 ‘탁자 위의 축구’

▸ ‘탁자 위의 축구’ 시스템은 입력된 경기 비디오를 면밀히 분석한 구 각 선수와 그들의 움직임을 개별적으로 추적함

▸ 그 다음 각 선수들의 움직임은 축구 비디오 게임에서 추출한 3D 모델로 매핑되며, 3D로 표현된 경기장 위에 배치되는데, 기본적으로 FIFA 18과 같은 게임을 실제 현실과 결합하여 일종의 미니어처를 만들어 낸 것이라 보면 됨

▸ PC용 축구 게임에서 추출한 선수 데이터를 3D 공간에 재배치하는 작업은 ‘컨볼루셔널 뉴럴 네트워크(CNN)’라는 딥러닝 알고리즘이 담당함

◾ ‘탁자 위의 축구’는 아직 개발 도중에 있지만, 2D 영상을 모든 방향과 각도에서 볼 수 있는 입체 영상으로 재구성한다는 아이디어에는 큰 기대와 호평이 쏟아졌음

▸ 대략적인 기술 프로세스를 살펴보면, 우선 축구 경기장에는 흰색 라인이 그어져 있으므로 이를 카메라 보정에 사용하는데, 라인 선상 위에 늘어선 선수들을 감지해 각 선수의 몸의 움직임을 추정한 다음 그 앞뒤에 있는 선수의 움직임을 추적함

▸ 각 선수들의 동작 추적에서는 포즈의 심도까지 추정 가능하므로, 좌우의 어느 다리가 앞쪽에 있는지 등도 알 수 있음

▸ 마지막으로 메쉬를 생성하고 경기에 출전한 선수들의 데이터를 이용하여 경기 자체를 재구성하면, 마치 책상 위에서 축구 경기가 펼쳐지는 듯한 AR 경험을 제공할 수 있음

<자료> TechCrunch

[그림 2] AR 기반 3D 재구성 기술

▸ ‘탁자 위의 축구’는 아직 개발 중인 만큼 선수의 움직임 등이 정확하게 재현되는 것이 아니며 해상도 역시 아직 완성도가 많이 떨어지지만, 한 각도의 영상을 모든 각도에서 볼 수 있는 입체 영상에 재구성 할 수 있다는 것은 멋진 아이디어라는 평가

▸ 축구 경기를 TV로 볼 때 나쁜 점은 모든 사람이 앉아서 단일 방향의 각도에서 잡은 똑같은 화면만을 바라보아야 한다는 것이고, 카메라에 잡히지 않은 장면은 알 수가 없기 때문에 작전과 전술을 이해하고 분석할 수 없다는 것임

▸ 이는 경기장에 직접 갈 경우 자리에 따라서 관객들이 보는 장면이 다 다르고, 모든 선수들의 움직임을 알 수 있는 관람 경험과 비교할 때 매우 아쉬운 점인데, 새로 선보인 ‘탁자 위의 축구’는 이런 문제를 해소할 수 있음

▸ ‘탁자 위의 축구’ 기술의 소스코드는 현재 깃허브에 공개되어 있음(https://github.com/krematas/soccerontable)