인간의 감정을 이해하는 인공지능, 목소리 톤에서 심정을 읽는다

※ 다음 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1770호(2016. 11. 02 발행)에 기고한 원고입니다. 

▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

인간의 감정을 이해하는 인공지능 -목소리 톤에서 감정을 읽는다.pdf

[ 요 약 ]

기계가 인간의 감정을 이해하고 인간미 있는 동작을 취하고, 기계가 인간과 대화를 하며 그 자리의 느낌을 이해할 수 있다면, 인간이 기계를 바라보고 인식하는 태도는 아마 지금까지와는 사뭇 달라질 것임. 최근 인간의 감정을 이해하는 인공지능(AI)들이 등장하기 시작하며, 전통적인 기계와 인간의 관계가 바뀌려 하고 있으며, 인간과 AI의 공존의 전제조건이 될 사람과 기계 사이의 정서 관계가 생성되기 시작할 날도 그리 멀지 않을 것으로 예상되고 있음

[ 본 문 ]

◈ 이스라엘에 본사를 둔 벤처 기업 ‘비욘드 버벌(Beyond Verbal)’은 회사 명에서 알 수 있듯이 사람의 목소리를 분석해 감정과 성격을 추출하는 기술을 개발하고 있음

• 인간의 목소리는 콘텐츠를 전달할 뿐만 아니라 말하는 사람의 심정을 드러내 주는데, 문화인류학자들은 사람 사이의 대화에서 전달되는 정보의 90% 이상은 말이 아니라 목소리 톤이나 얼굴 표정, 몸짓 등 비언어적 요소에 있다고 말하고 있음

• ‘비욘드 버벌’의 ‘감정 분석(Emotions Analytics)’ 기법은 시장 조사에 응용되고 있으며, 음성에서 질병을 진단하는 연구에 적용되어 큰 성과를 올린 것으로 보고되고 있는데, 이런 연구는 궁극적으로 인간처럼 행동하는 시스템 개발과 연결될 것으로 기대됨

• 비욘드 버벌이 감정 분석 기술이 적용된 스마트폰용 앱 ‘무디스(Moodies)’를 출시하고 있기 때문에, 이 감정 분석 기술은 현재 누구나 이용해 볼 수 있음

<자료> Appstore. [그림 1] 비욘드 버벌의 무디스 앱

• 앱을 실행시킨 다음 말을 하면 목소리 톤을 분석해 거기에 배어 있는 감정을 추출하는데, 육성이 아니라 녹음된 음성도 가능하므로 정치인이나 유명인들의 연설 혹은 발언을 입력해 감정 분석을 할 수도 있음

• ‘감정은 거짓말을 하지 않는다(Feelings Don’t Lie)’를 모토로 내세운 비욘드 버벌은 감정 분석 기술을 인정받아 지난 9월 초 300만 달러 투자를 유치하는 등 시리즈 A 펀딩에서 현재까지 총 700만 달러 이상의 투자를 받은 것으로 알려짐

◈ 무디스의 분석 능력을 보여주기 위해 비욘드 버벌은 오바마 미국 대통령이 히로시마 평화 공원에서 행한 연설이 앞쪽 3분을 입력한 후 분석된 결과를 공개하고 있음

<자료> Whitehouse. [그림 2] 오바마의 히로시마 공원 연설

• ‘71년 전 구름 한 점 없이 맑은 어느 아침 날에 하들로부터 죽음이 떨어져 내렸고 세계는 달라졌습니다...(Seventy-one years ago, on a bright cloudless morning, death fell from the sky and the world was changed...)’로 시작하는 연설은 묵직한 어조로 진행

• 전쟁의 비참함을 호소하는 연설이지만, 무디스 앱의 분석은 다른 견해를 나타냈는데 서두 부분 오바마 대통령의 심정은 ‘동기 유발(Motivation)’이라고 판정하며, 청중을 고무하기 위한 연설이자 동시에 문제에 대한 해결책을 모색하려는 것이라고 해석

<자료> Beyond Verbal. [그림 3] 오바마 연설의 음성 분석 결과

• 연설의 톤은 시간마다 바뀌어, 동기 유발 외에도 위엄(Dominance), 희망(Hope), 친밀감(Friendliness) 등의 분석 결과가 이어지며 연설 도중 심경의 변화가 계속해서 발생했음을 그래프와 함께 보여주고 있음

• 전반적으로 무디스 앱은 오바마가 해결책을 찾기 위한 노력이 진행 중이라는 것에 대해 심정적으로 긍정적인 평가를 내리고 있음(그래프의 녹색 영역, embracive)

• 그러나 한편으로는 희망을 전하려 해도 현실은 다르다고 느껴 감정적으로 우울한 평가를 내리는 측면도 있다고 분석하고 있음(그래프의 하늘색 영역, somber)

• 대부분의 사람에게는 무겁고 고뇌에 찬 연설로 들렸지만, 무디스 앱에 의하면, 오바마 대통령의 심중은 세계 평화를 호소하는 고무적인 감정과 프라하 선언 이후 부진한 핵무기 폐기에 대한 좌절감이 엇갈려 있었음을 알 수 있음

◈ 비욘드 버벌은 감정 분석 기술로 미국 공화당 대선 후보 도널드 트럼프가 폭스 뉴스의 메간 켈리와 진행한 공개 토론회에서의 답변을 분석한 결과도 공개하였음

• 무디스 앱의 감정 분석에 따르면, 트럼프의 답변에서 느껴지는 감정은 카리스마(Charisma), 창의성(Creativity), 장난끼(Playfulness), 추파(Flirtation), 따뜻함(Warmth) 등임

<자료> Beyond Verbal. [그림 4] 트럼프 연설의 음성 분석 결과

•  토론회를 TV로 본 사람들은 대체로 트럼프의 발언이 매우 재미 있고 관객을 끌어 당기는 매력이 있다고 느꼈다고 하는데, 감정 분석의 결과 역시 재치 있고 장난기가 풍부하며 엔터테이너로서 탁월한 능력을 보유하고 있음을 보여주고 있음

• 트럼프는 발언 내용 중 부적절한 표현이나 편향된 인식이 많아 정치인으로서 평가는 대체로 높지 않으며 정치적 수완에 대해서는 물음표가 많이 붙지만, 비욘드 버벌은 트럼프 인기의 비밀이 바로 말의 정서적 측면에 있음을 확인해 주고 있음

◈ 비욘드 버벌은 감정 분석 기술을 기업용 솔루션으로도 제공하고 있는데, 감정에 관한 것이니만큼 주로 시장조사 목적에 활용되고 있음

• 기업은 제품의 브랜드와 디자인에 대해 조사할 때 감정 분석 기술을 이용해 실제로 어떻게 느끼는 지를 파악하려는 시도를 하고 있으며, 또한 사람들이 실제로 느끼는 광고 효과를 검증하는 데에도 이용하고 있음

• 조사에 응한 사람들에게 브랜드나 디자인, 광고물에 대한 정서적인 질문을 하고 답변을 녹음한 다음, 이 음성을 감정 분석 기술로 파악해 응답자들이 대상물에 대해 어떤 심정을 가지고 있는지를 분석하는 것임

• 기업이 알고자 하는 것은 표면적인 대답의 의미가 아니라 음성에 담겨 있는 감정이며, 사람이 겉으로 하는 말은 때론 진실과 다를 수 있고 건성으로 답하는 경우도 있지만 음성에 포함된 신호는 거짓을 말하지 않는다는 전제 하에 가능한 시도임

◈ 한편 현대인들 중에는 자신의 감정을 제대로 이해하는 것이 매우 어렵다고 느끼는 사람이 적지 않은데, 무디스 앱은 일상 생활에서 건강 관리의 도구로도 이용할 수 있음

• 가령 전화 통화 등을 앱으로 분석하여 그 때의 심정이 어떠했는지를 파악할 수 있는데, 자신은 힘찬 어투로 말했다고 생각했지만 앱으로 분석한 결과가 쓸쓸함(Loneliness)이나 불만족(Unhappy)으로 나올 수도 있음

• 무디스 앱으로 자신의 감정을 분석해 본 이용자들 중에는 실제로 자신이 생각한 마음가짐과 실제 분석 결과가 다른 것에 놀라는 경우가 많다고 함

• 건강이 좋지 않을 때는 일부러 약간 큰 목소리로 말하려는 경향이 있으나, 앱으로 분석하면 이런 노력은 실제로는 전혀 먹히지 않음을 알 수 있는데, 심정은 목소리의 크기나 음정과는 상관관계가 없어 이런 잔기술로는 상대를 속일 수 없음을 알 수 있음

• 건강에 관련한 문제는 빠른 조치가 필요한데, 앱 분석 결과가 좋지 않다면 기분 전환을 할 수 있는 휴식이나 여가 활동 등 건강 관리 활동을 할 필요가 있음

• 부정적 분석 결과를 받은 이용자들이 기분 전환 후 다시 앱을 실행하면 분석 결과가 긍정적으로 나타나는 경우가 많은데, 이런 사례를 통해 목소리에서 자신의 심리 상태를 판단하여 건강한 생활을 유지하는데 활용할 수 있다는 단서를 발견할 수 있음

• 실제 비욘드 버벌에 투자를 한 벤처캐피털들은 이들의 감정 분석 기술이, 측정 데이터를 통해 건강을 스스로 관리하는 ‘계량화된 자아 운동(quantified self movement)’과 궤를 같이 한다는 점에서 높은 평가를 한 것으로 알려져 있음

◈ 이 감정 분석 기법의 의학적 근거를 정립하기 위해, 비욘드 버벌은 메이요 클리닉(Mayo Clinic)과 스크립스(Scripps) 등 선진 의료기관과 공동 연구를 전개하고 있음

• 최근 연구 결과에 따르면, 목소리는 실제로 감정을 포함뿐만 아니라 건강 상태의 마커(marker, 표시자)를 내포하는 것으로 나타났다고 함

• 특히 피험자의 목소리가 심장 질환 관련 신호를 포함하는 것을 발견했는데, 음성 신호가 심장 질환의 바이오 마커가 되므로 음성을 녹음하면 질병을 판정 할 수 있다고 함

• 이보다 앞서 음성은 자폐증이나 파킨슨병과도 관련이 있음이 밝혀지기도 했으며, 또한 음성과 우울증 및 난독증과의 관계도 해명되고 있는데, 이로써 우리가 하는 말은 건강을 비추는 거울이기도 하다는 점이 규명되고 있음

◈ 음성과 질병의 관계를 의학적으로 해명한 것은 비욘드 버벌이 처음인데, 최근 들어 스마트폰이나 웨어러블 기기로 질병을 진단하는 기술들이 속속 등장하고 있음

• 애플은 임상 시험을 위한 플랫폼인 ‘리서치킷(ResearchKit)’을 제공하고 있는데, 의료기관은 이 플랫폼을 이용해 단시간에 대규모 임상 시험을 실시할 수 있고, 임상 시험에 참여하는 피험자는 리서치킷에서 제공되는 앱으로 간단한 시험을 실시할 수 있음

• 파킨슨병에 대한 임상 시험 앱으로는 ‘엠파워(mPower)’가 주목 받고 있는데, 이는 비영리 단체인 ‘세이지 바이오네트웍스(Sage Bionetworks)’가 개발한 것으로, 피실험자들은 아이폰용 앱에서 지시에 따라 몇 가지 조작을 하면 파킨슨병 여부를 판정 할 수 있음

• 피험자들은 세 가지 작업을 지시 받는데, 손가락으로 버튼을 누르고 마이크에 ‘아~’하고 소리를 내며, 기억력을 시험하는 문제에 답하게 되는데, 피험자들의 테스트 결과를 집계하여 대규모의 파킨슨병 임상 시험을 전개 할 수 있게 되었음

<자료> Sage Bionetworks. [그림 5] 파킨슨병 임상시험 앱 mPower

◈ 비욘드 버벌은 현재의 컴퓨터는 인간의 감정을 이해할 수 없는 ‘감정맹(Emotional Blind)’이라며, 자신들의 최종 목표는 기계에 인간의 감정을 이해시키는 것이라 말하고 있음

• 비욘드 버벌의 목적은 기계가 감정의 수준에서 인간과 커뮤니케이션 하는 것인데, 이를 위해서는 기계가 인간의 감정을 실시간으로 파악하는 것이 필요하며, 이 정보를 시스템에 피드백 함으로써 컴퓨터가 이용자의 감정에 따라 대응하도록 해야 함

• 현재 애플 시리(Siri)에 ‘지금 내가 무슨 일을 하면 좋을까?’라고 물어 보면 ‘재미있는 질문이군요(Interesting question)’라는 엉뚱한 대답을 받게 됨

• 만약 시리가 사용자의 말투에서 감정을 이해하게 된다면 인간과 같은 반응을 기대할 수 있는데, 일이 바빠서 피곤하다고 파악하면 시리가 ‘잠깐 휴식을 취하고 차를 마시자’고 제안할 수도 있고, 우울할 때는 좋아하는 곡을 재생해 줄 지도 모름

<자료> The Wall Street Journal [그림 6] 비욘드 버벌 음성 분석 기술 개요

•  애플 시리 뿐만 아니라 아마존 에코에 내장된 인공지능 알렉사(Alexa)나 구글홈에 내장된 구글 어시스턴트(Google Assistant)도 사람의 목소리에 들어있는 감정을 이해하고 인간미가 느껴지는 기능을 개발하고 있을 것으로 보이는데, 비욘드 버벌의 기술은 감정을 이해하는 컴퓨터 구현의 기초가 됨

• 인간과 기계, 인간과 AI의 공존 시대를 이야기하지만, 컴퓨터가 아무리 지능이 뛰어나도 감정을 이해하지 못하는 깡통일 뿐이라는 인식은 인간과 기계 간의 관계 형성에 제일 큰 장벽인 것이 사실

• 만일 인공지능들이 감정 분석을 통해 인간의 감정을 이해할 수 있다고 하면, 그것이 진정한 감정의 이해인지에 대한 논란은 다시 벌어지겠지만, 최소한 지금까지와는 다른 인간과 기계 간의 감정적 관계 형성이 시작될 수 있을 것이며, 이는 새로운 기계시대로의 진입을 알리는 또 하나의 징표가 될 수 있을 것