Search

'Automatic Alternative Text'에 해당되는 글 1건

  1. 2018.11.28 페이스북, 사진의 특정 부분을 터치하면 AI가 상황을 설명해주는 서비스

※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1874호(2018. 11. 28. 발행)에 기고한 원고입니다.


▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

페이스북, 사진의 특정 부분을 터치하면 AI가 상황을 설명해주는 서비스.pdf



페이스북은 스마트폰에 표시된 사진의 특정 부분을 손가락으로 터치하면, AI(인공지능)가 그 부분이 어떤 내용과 상황인지 말해주는 사용자 지원 기술을 개발하고 있음


AI가 사진 속 사람과 사람의 위치 관계 등 사진이 담고 있는 컨텍스트(맥락)를 설명하게 하는 기술로, 이를 활용하면 우선 시력장애인들에게 유용한 UI를 만들 수 있음


1115일 샌프란시스코에서 개최 된 뉴 컨텍스트 컨퍼런스(New Context Conference)’에 등단한 '페이스북 제품 디자인 담당 부사장 마가렛 스튜어트는 시각 장애인의 UI 개선을 위해 페이스북이 해온 노력의 과정을 설명하였음




페이스북은 이미 지난 20164월부터 시각장애인의 웹 접근성(Web Accessibility)’ 개선 노력의 일환으로 페이스북에 게시된 사진의 피사체를 AI가 말해주는 ‘Automatic Alternative Text(자동 대안 텍스트)’ 기능을 제공 중에 있음


피사체가 무엇인지 식별하는 이미지 인식 기술과 사진에 대한 설명(캡션)을 자동으로 생성하는 자연언어처리 기술을 결합하여 개발한 것인데, 스튜어트는 이 기능에 대해 나름 쓸모있기는 하지만, 가령 사람과 사람의 위치관계 등 사진에는 있는 컨텍스트가 빠져있다고 지적


이런 문제점을 개선하고자 페이스북은 현재 사진의 컨텍스트도 AI가 이해하여 이를 사용자에게 전달하는 기술을 개발 중이라고 함


개발 중인 기술은 이미지 인식 기술뿐만 아니라, 이미지에 비친 피사체의 영역을 식별하고 세분화하는 기술과 인물의 표정을 식별하는 표정 인식 기술, 문자 인식(OCR) 기술 등을을 결합


가령 케익과 축하 카드가 있는 사진의 경우 ‘Happy Birthday’라고 쓰인 카드 부분을 손가락으로 터치하면 AI‘Happy Birthday’라고 말해주며, 포크와 나이프, 케이크 영역을 손으로 터치하면 그 객체가 무엇인지 AI가 알려줌


<자료> ITPro

[그림 1] 사진 속 특정 영역을 설명


피사체가 인물인 경우에는 얼굴 부분을 터치하면 그 사람의 이름이나 표정을 말해주고, 옷 영역에 손이 닿으면 그 사람의 복장상태까지 알 수 있게 해줌


마가렛 스튜어트 부사장은 남편과 함께 찍은 사진을 터치하는 데모를 보여주었는데, AI마가렛이 미소 짓고 있다’, ‘(남편) 데이빗은 넥타이를 매고 있다라고 말해주었음


스튜어트는 남편이 타이를 매는 것은 매우 드문 일이기 때문에 타이 착용 여부를 아는 것이 간혹 중요할 수도 있다라며, AI로 사진 속 맥락을 전달하는 기술의 의의를 설명하였음


이 새로운 사용자 지원 기술은 아직 프로토타입 단계라고 하며, 실제로 사용할 수 있는 시기는 아직 정해지지 않았다고 함


<자료> ITPro

[그림 2] 인물 사진의 세부 영역을 설명


페이스북은 새로운 사용자 지원 기술에서 AI가 담당하는 역할은 사람들을 동등하게 대우함으로써 모두가 커뮤니티에 참여할 수 있도록 하는 것이라 말하고 있음


스튜어트 부사장은 AI는 지금 모든 영역을 바꾸어 가고 있다며, 스티브 잡스가 한때 컴퓨터는 인간의 지성에 자전거와 같은 존재다라고 말한 바 있지만, 거기에 비교하면 지금의 AI는 인간 지성에 로켓과 같은 존재라고 비유


그런 점에서 스튜어트는 AI가 인류에 대해 분명한 역할과 책임이 있다며, 제품 및 서비스 디자이너들이 AI가 모든 사용자들에 동등하게 작동할 수 있도록 고안하는 것이 아주 중요한 일이라고 호소(Designing AI With and For Humanity)


제품을 설계하는 디자이너는 사용자가 보는 화면의 한 픽셀에 대한 것이나 사용자의 개인적인 경험 등에 주로 신경을 쓰는 경향이 있는데, 그러나 AI 활용 여부가 큰 차이를 만들어 내는 이런 시대에는 픽셀보다 에코시스템 전체, 개인보다는 인류 전체를 생각해야 한다는 것


스튜어트는 디자인이란 제품과 서비스가 사회에 주는 영향을 생각하는 행위라며, AI가 사회와 인류에 대한 책임을 제대로 이행할 수 있도록 생각하는 것도 디자이너의 업무에 포함되어야 한다고 강조했는데 웹 접근성을 넘은 ‘AI 접근성을 제시했다는 점에서 주목할 만함