무인 점포 아마존 Go의 상품 구입 여부 인식 방법

※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1833호(2018. 2. 14. 발행)에 기고한 원고입니다.

▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

무인 점포 아마존 Go의 상품 구입 여부 인식 방법.pdf

ž 2018년 1월부터 문을 연 아마존의 무인 점포 ‘아마존 Go’는 높은 편의성으로 호평을 받고 있는데, 구체적 작동 방식에 대해서는 아마존이 아직 공개하지 않고 있음

Ø 아마존 Go를 이용하려면 전용 앱이 필요하며, 매장에 들어갈 때 앱을 실행하고 표시된 QR 코드를 리더기에 비추면 게이트의 바가 열리게 됨

Ø 매장에 들어서면 사고 싶은 상품을 손으로 집어 바구니나 가방에 넣으면 되는데, 상품 개수가 손에 들고 있을 수도 있는데, 아마존 Go의 인공지능(AI)은 고객이 상품을 손으로 집어 든 시점에서 구매를 했다고 판정함

Ø 만일 마음이 바뀌어 고객이 제품을 선반에 되돌려 놓으면 AI는 이를 반품한 것으로 인식하며, 내려 놓은 시점에서 상품이 구매 목록에서 제거됨

Ø 계산대에 점원이 없기 때문에 쇼핑이 끝난 고객은 그대로 가게를 걸어 나오면 되며(Just Walk Out), 계산대의 AI가 고객이 구매한 아이템을 최종 파악해 전용 앱에 결제를 청구하고, 영수증이 앱에 표시되기 때문에 고객은 자신이 구입한 상품을 확인할 수 있음

Ø AI가 어떤 방법으로 구매 여부를 판정하는지에 대해 아마존은 자세히 공개하지 않고 있는데, ‘컴퓨터 비전(Computer Vision, 영상 분석)’과 딥러닝 알고리즘, ‘센서 퓨전(Sensor Fusion, 서로 다른 여러 종류의 센서를 통합)’ 기술 등을 이용한다는 언급에 머물고 있음

ž 무인 계산대가 운영되려면 우선 고객과 고객이 집어 든 제품을 식별하는 기능이 필요한데, ‘컴퓨터 비전’과 ‘센서 퓨전’ 기술은 이 부분에서 사용되는 것으로 보임

Ø 매장 입구 게이트의 리더기에 앱의 QR 코드를 갖다 대면 시스템은 이용자를 파악할 수 있고, 그 다음엔 천장에 설치되어 있는 카메라가 이용자를 인식해 위치를 파악할 것인데, 이를 위해서는 고객 정보와 카메라가 파악한 정보를 연결해 주는 키 값이 필요함

<자료> Seattle Times [그림 2] 아마존 Go 천정의 카메라

Ø 매장 안에서 고객이 이동할 때마다 천장에 설치된 카메라가 그 움직임을 추적하는데, AI가 이용자의 얼굴 인증을 실시하는 것은 아니므로, 고객의 모습에서 특징량을 파악하고 이를 키 값으로 사용해 고객을 추적하는 것으로 보임

Ø 천장에는 수많은 카메라가 설치되어 있으며 카메라는 상자 안에 탑재되어 있는데, 이 상자 안의 프로세서는 카메라가 포착한 이미지에 대한 기초적인 AI 분석을 수행할 것임

Ø 카메라는 사람의 형태를 인지하고 이용자를 식별 및 추적하며, 손을 뻗는 등 고객이 보이는 동작의 의미를 파악하는 기능을 수행하는데, 만일 고객이 다른 장소로 이동하면 다른 카메라가 이어 받아 계속 추적할 것임

Ø 천정의 카메라는 또한 선반의 상품을 인식하고 고객이 집어 든 상품의 이름을 식별하는 기능도 수행할 텐데, 상품 진열대에도 상품 식별을 위한 별도의 카메라가 설치되어 있음

Ø 겉으로 보이진 않지만 진열대에는 카메라와 저울이 탑재되어 있다고 하는데, 카메라는 소비자가 선택한 상품을 인식하며, 저울은 선반의 무게를 측정하여 무게가 줄어들면 상품이 구매된 것으로 인식하는 것으로 보임

Ø 이에 대해서는 무게 감소 여부로 파악하는 것이 아니라, 시스템에 각 상품의 무게를 입력해 놓음으로써 줄어든 무게에 따라 구매된 상품명을 식별하는 것이라 보는 의견도 있음

ž 컴퓨터 비전과 센서 퓨전을 통해 수집한 일련의 데이터는 서버로 전송되며, 최종적으로 딥러닝 알고리즘이 누가 얼마만큼의 상품이 구매되었는지 추정하는 것으로 보임

Ø 사람들의 쇼핑 패턴이 동일하다면 시스템이 누가 어떤 상품을 구매했는지 판단하기 용이할 것이나, 매장에서 쇼핑을 할 때는 다양한 상황이 발생하기 때문에, 시스템은 딥러닝의 방식으로 다양한 상황을 학습해 나갈 필요가 있음

Ø 가령 고객이 제품을 바구니에 넣었다가 이동하는 도중에 마음이 바뀔 때, 그것을 원래 자리에 갖다 놓기 보다는 아무 선반에나 올려 놓는 경우가 많음

Ø 또한 고객이 상품을 가방이나 바구니에 넣는 것이 아니라 동반한 아이에게 들고 가게 하는 경우도 있을 것이며, 들고 있던 상품을 다른 고객에게 전달하는 경우도 있을 것임

Ø 아마존 Go 앱에 따르면 현재 상품을 다른 사람에게 전달하는 행위는 금지되어 있는데, 알고리즘이 이러한 돌발 사태를 파악하고 적절하게 과금 청구할 수 있도록 딥러닝을 통해 훈련시킬 필요가 있을 것임

<자료> Android Police [그림 3] 아마존 Go에서 불허되는 행위

ž 이렇게 보면 딥러닝 알고리즘을 교육시켜 고객을 인식하는 정확도를 높이고 소비자 행동의 의미를 학습시키는 과정이 아마존 Go의 성패를 좌우한다고 할 수 있음

Ø 딥러닝 알고리즘 교육을 위한 데이터 수집을 위해 아마존은 아마존 Go 오픈에 앞서 아마존닷컴 직원들을 대상으로 테스트를 실시했다고 함

Ø 아마존 Go는 2016년 12월에 그 계획이 발표되었고 원래 2017년 초에 오픈을 목표로 했으나 실제로는 약 1년 후인 올해 1월로 크게 늦어졌는데, 그 이유가 정확히 공개되지 않았지만 매장이 북적일 때 AI가 매출을 정확히 판정할 수 없기 때문이었다는 말이 있음

Ø 아마존은 카메라의 대수를 늘려 판정 정확도를 향상시키는 방식을 택했는데, 바닥 면적 1,800 평방피트(약 50평)의 아마존 Go 매장에 100대 정도의 카메라를 설치해 고객의 움직임을 빠짐없이 모니터 하는 구조로 만든 것임

Ø 아마존 Go의 인식 정확도가 관심을 모았지만 오픈한 지 수 주일이 지났지만 특별히 큰 문제는 보고되지 않았으며, 판정 정확도는 실용화가 가능한 수준인 것으로 보임

Ø 한편 어떤 기자는 매장 측의 허락을 얻어 상품을 ‘도둑질’했지만 매장을 나올 때 앱으로 청구가 되었다는 보도가 있었으며, 아마존 Go가 매장의 도난 방지에도 도움도 줄 수 있다는 평가를 낳기도 하였음

ž 아마존은 아직 아마존 Go의 확장 계획에 대해 침묵을 지키고 있는데, 오픈한 매장의 구색을 보면 편의점 형태의 매장으로 보이며, 매장 개설 비용이 이슈가 될 것으로 예상됨

Ø 문을 연 아마존 Go 매장은 식료품이나 일용품을 중심으로 구색을 갖추고 있으며, 매장을 찾은 고객들이 소수의 상품만 구매하는 패턴이 눈에 두드러짐

Ø 아마존 Go가 사무실이 밀집한 거리의 편의점으로 운영될 것이라는 말도 나돌고 있는데, 시간에 쫓기는 직장인들이 점심시간에 아마존 Go에서 샌드위치와 음료를 손에 들고 뛰어 나오는 모습을 유스 케이스(Use Case)로 상정하고 있다고 함

Ø 실제 아마존 Go에는 계산원은 없지만 샐러드와 샌드위치 등 신선식품 조리와 자재 조달을 맡는 직원이 배치되어 있으며, 계산을 하기 위해 줄을 설 필요가 없기 때문에 직장인들의 점심 시간이 조금 더 늘려주는 효과를 제공하게 될 수도 있음

Ø 아마존은 추가로 아마존 Go 매장을 얼마나 늘릴 지에 대해 구체적 계획을 발표하지 않고 있는데, 이에 대해서는 수백 대의 카메라와 AI 시스템을 설치해야 하는 등 구축 비용이 만만치 않기 때문에 매장 늘리기가 쉽지 않을 것이라는 지적이 설득력을 얻고 있음