Search

'Human out of the loop'에 해당되는 글 1건

  1. 2018.09.12 싱가포르 정부,‘AI 거버넌스 프레임워크’ 구축의 방법론 제시

※ 아래 글은 정보통신기술진흥센터(IITP)가 발간하는 주간기술동향 1862호(2018. 9. 5. 발행)에 기고한 원고입니다.


▶ IITP에서 PDF 포맷으로 퍼블리싱한 파일을 첨부합니다. 가독성이 좋으니 참고하시기 바랍니다.

싱가포르 정부,‘AI 거버넌스 프레임워크’ 구축의 방법론 제시.pdf



[ 요 약 ]


지금까지 발표된 AI 개발의 윤리와 거버넌스에 관한 보고서는 대부분 어떤 가치(What)’가 중요한가라는 관점에서 전세계적으로 공유할 원칙을 정의하는데 초점이 있었음. 이에 비해 싱가포르 정부가 발표한 ‘AI 거버넌스 및 윤리 정책은 그렇게 정의한 원칙을 공유한 다음 각 기업과 산업단체가 어떻게(How)’ 자율적으로 거버넌스를 구축할 지에 관한 실천적 프레임워크를 제시하고 있어 AI 거버넌스를 고민하는 나라들에 좋은 참고가 될 전망



[ 본 문 ] 


20186월 싱가포르 정부가 발표한 ‘AI 거버넌스 및 윤리 정책계획은 싱가포르와 관련된 AI의 윤리와 혁신에 관련한 전세계 기업들의 정책 수립에도 좋은 참조가 될 전망


‘Artificial Intelligence Governance and Ethics Initiatives'라는 제목의 이 계획은 혁신 친화적인 규제와 AI 이용자가 신뢰할 수 있는 환경의 구축을 목표로 각 산업 분야와 기업이 AI 개발과 관련한 자발적인 규칙을 제정할 것을 요청하고 있음


싱가포르 정부의 계획은 지금까지 각국 정부가 발표한 유사한 보고서와 확연히 구별되는데, 기업이 AI 시스템을 개발하는 데 어떤(WHAT)’ 가치를 지킬 것인가에 더해, 어떻게(HOW) 지켜야 할 것인지에 대해 심도 있게 파고 드어 기술하고 있기 때문


따라서 이 계획은 비단 싱가포르와 비즈니스를 전개하는 외국 기업들에 영향을 미칠 뿐만 아니라, 우리나라를 포함 각국의 기업들이 ‘AI의 윤리를 고려하면서도 혁신을 촉진하는 틀을 만드는 데 유용한 참조가 될 가능성이 있음


지금까지 여러 국가에서 공개된 AI의 윤리와 거버넌스에 관한 보고서는 무엇이 중요한 질문인가라는 관점에서 전세계가 공유할 원칙을 정리하는데 초점을 두고 있음


현재 미국의 백악관, 영국 하원 과학 기술위원회, 프랑스 의회, 일본 총무성 산하 정보통신정책연구소 등이 AI의 윤리와 거버넌스에 관한 원칙과 지침을 책정하고 있


정부뿐 아니라, 미국 전자전기학회(IEEE), 비영리법인인 생명의 미래(Future of Life Institute), 구글, IBM, 페이스북 등 기업이 조직한 ‘AI 파트너십(Artificial Intelligence Governance and Ethics Initiatives)’ 등 다양한 산학연 기관이 AI의 윤리와 거버넌스를 고려할 때 원칙과 논점을 제정하고 있음


우리나라의 경우 201710월에 과학기술정보통신부와 한국정보화진흥원·정보문화포럼이 지능정보사회 법제도 포럼을 출범시키고 지능정보사회의 윤리 가이드라인 마련작업을 시작한다고 발표한 바 있음


당시 포럼은 인간 중심의 지능정보사회 구현을 목표로 이해관계자의 의견을 수렴해 개발자·공급자·이용자 대상 윤리 가이드라인을 2017년 연내 확정한다는 방침이었음


그러나 이후 과학기술정보통신부는 입장을 바꿔, 국내 AI 관련 산업은 아직 초기 단계여서 정부가 나서 가이드라인을 만들 상황이 아니기 때문에, 민간부문과 상의해 보편적 수준의 신기술 연구 가이드라인을 만든다는 쪽으로 계획을 변경하였음


지금까지 발표된 수많은 보고서의 공통점은 AI와 윤리를 고려함에 있어 무엇이 중요한 질문이며, 가치인가’, ‘WHAT’의 관점에서 전세계적으로 공유할 수 있는 원칙을 정리하고 목록화했다는 것임


세계 곳곳에서 지난 2년여 동안 논의가 전개된 결과‘WHAT’에 대한 논점은 이미 도출되었으며, 현재 그 다음 단계로 요구되고 있는 것은 AI를 이용한 기술과 서비스를 제공하는 개발자와 기업이 그 원칙을 어떻게 구현해야 하는가라는 ‘HOW’에 대한 논의임


싱가포르 정부가 제시한 이번 계획은 HOW에 천착한 것으로, 각 산업 분야와 기업이 다양한 가치를 자율적으로 취사선택하는 실천적인 거버넌스 프레임워크를 제시하고 있음


싱가포르 정부는 이 계획을 수립하기 위해 한국에서 가이드라인 마련 계획을 발표했던 것과 같은 시기인 201710월부터 AI 거버넌스 관련 부처들의 전체 회의를 시작하였음


참여 부처들은 다방면에 걸쳐 있는데, 사업 개발의 ​​중심이 된 ‘IMDA’는 싱가포르 정보 통신부의 구체적인 정책을 수립·실행하는 법정 위원회임


또한 IMDA 산하의 개인정보보호위원회(PDCD)와 싱가포르 금융관리국(MAS), 육상교통청(LTA), 검찰청, 싱가포르 경쟁 및 소비자 위원회(CCCS) 등 각 부문의 규제 및 감독 기관들이 함께 참여하였음


그 밖에도 보건부(MOH), 정보통신부(MCI), 총리실 직속의 스마트 국가와 디지털 거버넌스 오피스(SNDGO)’, 정부기술청(Gov Tech), 전략적 미래 센터(CSF), 부처 횡단으로 추진되고 있는 인공지능 관련 5개년 계획인 ‘AI 싱가포르등도 참여


싱가포르의 여러 부처들이 한 데 모여 약 8개월간의 논의를 거친 끝에 올해 6‘AI 거버넌스 및 윤리 정책계획이 공개된 것이며, 3가지 주요 내용을 담고 있음

Discussion-Paper-on-AI-and-PD-Personal-Data-Protection-Commission-Singapore.pdf


주요 내용 3가지는 (1) 소비자와 고객의 신뢰를 얻고 혁신을 추진하기 위한 논점을 정리 한 토론 논문(discussion paper)'을 공개


<자료> PDPC of Singapore

[그림 1] AI 거버넌스의 논점을 정리한 토론 논문


(2) 각 산업 분야의 업계 단체나 소비자 단체의 리더들이 자율적 규칙 만들기를 위해 대화하는 ‘AI와 데이터의 윤리적 사용자문위원회를 설치


(3) AI와 데이터 이용의 거버넌스에 관한 연구 프로그램을 싱가포르 경영 대학(SMU)5년간 설치한다는 것임


이에 따라 싱가포르 정부는 계획을 발표하며, (1)의 내용에 해당하는 인공지능과 개인 데이터에 관한 토론 논문: 인공지능의 책임 있는 개발과 수용의 조성(Discussion Paper On Intelligence and Personal Data-Fostering Responsible Development and Adoption of AI)'도 함께 공개하였음


계획의 핵심은 산업계에 AI에 대한 자율 규제의 프레임워크를 제정하도록 촉구하는 것이며, 토론 논문은 이를 위한 논점을 정리한 것으로 총 16페이지, 5장으로 구성되어 있음


이 토론 논문은 20186월 공개된 이후 싱가포르의 여러 부처 및 업계 단체에 배포되었고, PDPC의 웹사이트에서도 볼 수 있으며, 현재 피드백을 수렴하고 있음


토론 논문의 제1도입(Introduction)' 파트는 민간 기업이나 업계 단체에 대해 자발적인 행동 기준을 포함한 거버넌스 프레임워크를 제정하라는 요구를 명확히 하고 있음


도입부는 규제를 제정하는 감독 기관, AI 개발자와 서비스를 제공하는 기업, 나아가 소비자 등 이해관계자 사이에서 어떤 거버넌스가 필요한가에 대해 대화하는 것이 중요하다고 지적하는데, 이 때 중요한 관점으로 다음의 세 가지를 제시하였음


▸ ① 거버넌스 프레임워크는 특정 AI 기술에 국한되지 않는 기술 중립적인 것으로서, 엄격한 관리체계가 아님(light-touch)


▸ ② AI를 이용한 기술과 서비스를 제공하는 개발자 및 공급자가 자사의 기술과 서비스 개발에 어떤 규제(자율 행동규범도 포함)가 관련되어 있는지를 알 수 있도록 하기 위해, 규제를 제정하는 측은 규제와 규칙을 명확한 형태(regulatory clarity)로 제공해야 함


▸ ③ 최소한의 요건으로는, 설명 가능성, 투명성, 공정성, 그리고 인간중심주의를 촉진하는 원칙과 규칙을 제정함으로써 기술 개발에 대한 소비자의 신뢰를 획득함


이 밖에도 도입부에서는, 이해관계자에 속하는 ‘AI 개발자’, ‘사용자 기업’, ‘소비자와 고객에 대해 정의하고 있으며, AI를 실행하는 데는 데이터 처리’, ‘알고리즘에 의한 분석’, ‘모델 선택등의 단계가 있음을 설명하고 있음


이어 제2은 거버넌스 프레임워크의 두가지 원칙, 3장은 그 원칙을 산업에 적용하기 위한 전제, 4장은 거버넌스 프레임워크의 작동 방식, 5장은 향후 과제에 대한 내용을 담고 있음


2장에서 제시된 거버넌스 프레임워크의 두 가지 원칙은 투명성인간중심성인데, 규칙을 제정할 때는 이 원칙을 규제기관, 협회, 기업, 소비자 단체 등이 공유하는 것이 중요하므로 자문위원회 같은 대화의 장을 마련할 것을 권고하고 있음


3장에서는 두 원칙을 개별 산업 분야에 적용할 때 기술중립성최소 기준이라는 두 가지 전제와 법적 책임성이라는 한계를 반드시 고려해야 함을 기술하고 있음


3장까지가 왜(WHY) 거버넌스가 필요하고, 어떤(WHAT) 논점이 있는지를 정리한 것이라면, 4장은 거버넌스 프레임워크가 어떻게(HOW) 규칙을 만드는지 그 방법을 4단계로 보여주고 있음


마지막 5장의 제목은 다음 단계(Next Step)’, 본 논문의 목적이 토론을 촉진하기 위한 것이기 때문에 많은 조직이 이 프레임워크를 이용해 논의할 것을 권고하고 있음


[1] 싱가포르 정부가 제시한 ‘AI 거버넌스 프레임워크4단계 규칙 제정 프로세스

단계

주요 내용

2

책임 있는 AI

위한 원칙

1원칙

AI에 의해 또는 AI의 지원에 의해 내려진 결정은 설명 가능해야 하며 투명하고 공정해야 함

2원칙

AI 시스템, 로봇과 AI에 의해 내려진 결정은 인간중심적이어야 함

3

“AI용 거버넌스

프레임워크의 탐구

두 전제

기술중립성: 프레임워크는 기술 설계와 응용, 이용에 초점을 맞추어야 한다는 것이며 단지 AI 기술에만 적용되는 것은 아님

최소 기준: 프레임워크는 전 산업 분야에 걸친 최소한의 기준으로 적용되는 것이며, 특정 산업 분야 및 산업 단체에는 더욱 강한 기준이 추가로 부과될 수 있음

한계

법적 구속력: 프레임워크가 법적 책임과 손해배상 등 구체적인 내용을 결정하는 것은 아님

4

거버넌스 프레임워크의

4단계

1단계

AI 거버넌스 프레임워크의 목적을 명확히 규정- 프레임워크가 내거는 목표로 설명 가능성과 검증 가능성’, 데이터 설명 책임의 실천’, ‘투명성등을 들고 있음- 그러나 프레임워크의 목표는 기업이나 산업 단체가 각자 자율적으 로 선택해야 한다고 권고

2단계

적절한 조직적 거버넌스 대책의 선택- ‘거버넌스의 구조에 의한 대책으로는 다음 3가지를 예시 감시 기구를 도입하는 등 내부 거버넌스 구조를 구축 리스크 영향 평가를 실시하고 위험 줄이기 AI 개발 부서의 결정에 대해 정기적으로 또는 불시에 조사- ‘운영 관리 및 시스템 설계에 의한 대책으로는 다음 4가지를 예시 기록을 남겨 데이터에 대한 설명 책임을 완수 모델의 재현성을 높게 유지함으로써 신뢰성을 획득 의사 결정에 대한 추적 가능성을 제고 데이터와 모델을 정기적으로 튜닝하여 적절히 변경- 이상의 대책은 반드시 해야 하는 체크리스트가 아니며, 이용하 는 기술이나 적용하는 산업 부문 등에 따라 필요한 조치를 취사선 택해야 함

3단계

고객/소비자 관련 관리 프로세스를 고려- 고객과 소비자의 신뢰를 얻기 위해 필요한 대책으로 다음 3가지를 예시 적극적으로 정보를 공개하고 설명하는 '투명성 휴리스틱 평가를 통해 사용성에 관한 문제점을 밝혀내고 사용자 가 데이터 이용에 대해 옵트인/옵트아웃할 수 있는 선택권 을 제시하는 쌍방향성 소비자로부터 피드백을 얻을 수 있도록 하고 자율적 의사결정에 대해 소비자가 평가 할 수 있도록 하는 커뮤니케이션- 이상의 대책 역시 반드시 해야 하는 것이 아니며 필요하다고 생각하는 조치를 기업 및 산업단체가 선택해야 함

4단계

의사 결정과 위험 평가를 프레임워크에 통합- AI 시스템의 사용을 통해 소비자와 고객이 손해를 입게 될 위험성 이 있는 경우 그 리스크의 평가 방법으로 위험의 크기와 확률에 따른 매트릭스등을 예로 제시- 위험의 크기와 종류에 따라 AI를 사용하는 시스템의 의사 결정에 인간이 얼마나 관여해야 할 지가 달라지게 됨- 가령 의료 행위처럼 손해의 크기와 그 발생 확률이 모두 큰 경우, ‘인간이 최종 결정을 담당하는 접근 방식(Human-in-the-loop)’이 나은 것으로 간주됨. 이 경우 기업은 재현성 및 추적 가능성에 초 점을 맞춘 대책 마련이 필요(2단계)- 반면, AI가 자동으로 결정을 내리지 않고 인간이 최종적으로 판단 하는 경우 고객에게 AI의 내부 프로세스에 대한 정보를 제공할 필 요는 없음(3 단계)

<자료> PDPC of Singapore, IITP 정리

 


이러한 틀이 제대로 작동하게 하려면 민간 기업의 자발적 규정 마련과 법적 규제, 이 양축이 역할을 잘 분담하는 것이 중요함


 실제로 유럽연합이 일반데이터보호규칙(GDPR)20185월부터 시행한 바도 있어, 싱가포르는 현재 국제적인 틀과 보조를 맞추는 위해 개인정보보호법의 개정 등을 위한 작업이 진행 중에 있음


이번 계획 발표 이후에도 금융, 교통, 의료 등 각 산업 특유의 아젠다에 대해서는 회의 참석 주체인 관할 부처들이 계속 논의를 진행할 전망


가령 싱가포르 금융 관리국(MAS)은 이미 금융업이 AI와 데이터 분석을 활용하는데 필요한 책임 있는 윤리적 이용 가이드라인을 만들기 위한 논의를 시작하고 있음


한편 본 토론 논문의 내용 범위는 어디까지나 비즈니스에 국한된 것이며, ‘국방(Defense)’은 포함하지 않기로 제1차 회의에서 합의한 것으로 알려졌음


토론 논문이 기업의 자발적 규칙 마련을 촉구하고 있지만, 4장에 설명된 대로 일률적으로 체크리스트화 하는 것은 아니며 각 기업이 필요한 규칙을 선택하도록 권고하고 있음


이를 통해 각 기업과 산업의 규모에 따라 가능한 범위에서 대책을 강구함으로써, 스타트업을 중심으로 한 혁신을 저해하지 않고 AI 관련 사업을 키워 나갈 것을 기대하는 것임


각 업계 단체와 기업은 AI 기술을 사용한 시스템과 서비스를 개발할 때, 본 논문을 참조해 어떤 가치를 중요시하고, 누구에게 어떤 대책을 실시해야 하는지, 또는 하지 않아도 좋은 것은 무엇인지를 스스로 판단에 의해 결정해야 한다는 것임예를 들어 본 논문에는 무엇이 손해에 해당하는 지를 구체적으로 기술하지 않고 있으며, 기업 스스로 자발적으로 정의하고 조치를 취할 것을 요구하고 있음


<자료> ITPro

[그림 2] 위험의 크기와 확률 매트릭스


나아가 논문에서 제시된 프레임워크 자체도 하나의 예이자 프로토타입일 수 있는데, 가령 프레임워크 작동의 4단계에서는 위험 평가의 영향과 확률 이외에도 비용 및 리소스 등을 평가 기준에 넣는 것이 가능함


핵심 요지는 중요하게 생각하는 목표를 설정하고(1단계), 적절한 프로세스를 통해 대책을 강구하며(2단계), 고객에게 미치는 영향도 고려하되(3단계), 구체적인 위험 평가를 실시한다(4단계)”는 프레임워크를 견지하며 판단해야 한다는 것임


즉 각 단계에서 무엇을 중시할 지는 업계 단체나 기업이 자발적으로 궁리하되, 대내외적으로 설명할 수 있는 확실한 나름의 근거와 프로세스를 마련해야 한다는 것임


◾ 싱가포르 정부의 ‘AI 거버넌스 구조’는 표준을 제정해 지침으로 내리는 하향식이 아니라, 가치 공유 이후 기업이 자율적으로 제정하는 상향식 접근을 제시한다는 것이 특징


서두에 언급한 것처럼 싱가포르 정부가 공개한 논문이 보여준 거버넌스의 구조는 AI에 대한 '원칙''지침'을 제시하는 기존의 보고서와 사뭇 다른 양상을 띠고 있음


지금까지의 보고서의 목적은 대부분 전세계적으로 공유할 수 있는 원칙과 논점을 제시하는 것이었으며, 그 논점이 특정 이해관계자의 관점에 치우치지 않도록 하려다 보니 이해관계자의 다양성이 중요했음


가령 IEEE윤리적으로 조화된 설계보고서는 250명 이상이 참여해 만들어졌는데, 추상적인 논의에 빠지지 않겠다는 취지하에 의료, 교통, 군사 등 개별 분야의 사례와 문헌을 수시로 소개하고 있음


물론 기존에도 AI 연구 개발 및 기술 설계를 진행하는데 있어 어떻게 거버넌스 구조를 만들 것인가에 대한 논의도 있었으나, 거버넌스 구축 방법을 표준으로 제정하는 접근방식을 취했으며, 대표적인 것이 IEEE-SA 표준 규격임


이에 비해 싱가포르 정부는 똑같이 HOW에 관해 논의하고 있더라도 정부가 표준을 만든다는 하향식 접근이 아니라 무엇이 최소한 지켜야 할 가치인가(WHAT)를 공유한 다음, 구체적으로 그것을 지켜나가는 방법에 관해서는 각 업계 단체와 기업이 취사선택을 하여 자율적으로 규칙을 만드는 상향식 접근 방식을 제시하고 있음


또한 지금까지 AI 관련 기술과 시스템 개발에서 자율적으로 규칙을 제정하려는 논의가 개별 산업단체 및 기업 차원에서 시도된 것에 비해, 싱가포르 정부는 AI에 관련된 모든 산업 분야에 걸쳐 정부와 산업계 및 소비자 단체 등의 지식인으로 구성된 자문위원회를 설치하고 있다는 점도 특징임


◾ 우리나라를 포함해 전세계적으로 AI 거버넌스와 윤리에 대한 프레임워크 제정의 필요성이 높아지고 있는 가운데, 싱가포르의 행보는 유의미한 참조 사례로 주시할 가치가 있음

싱가포르가 추구하고 있는 관과 민의 하이브리드에 의한 AI 거버넌스 규정 제정이나, 상향식 접근방식 등은 싱가포르의 특수한 환경 때문이라 치부할 수도 있음


실제 싱가포르는 서울시 한 구 크기의 도시 국가로 인구는 560만 명 정도에 불과하며, 일당 체제로서 정책 결정이 빠르고, 고려해야 할 이해관계자의 수가 다른 나라에 비해 많지 않다는 점 때문에 가능한 전략일 수도 있음


그러나 WHAT에 초점을 맞추어 다양한 이해관계자의 관점에서 논점을 정리해 열거한 두꺼운 보고서와 비교하면, 구체적인 HOW의 논의로 전환하여 민간 기업의 자유를 존중하면서 AI를 적절하게 통제하고 자국 산업의 발전을 촉진하려는 싱가포르의 노력은 실질적이고 합리적이며 행보가 가벼운 것으로 보임


물론 완전한 정부 주도도 아니고 완전히 민간에 맡기는 것도 아닌, 민관이 공동으로 고민해 가는 싱가포르식 거버넌스 프레임워크가 실제로 어떤 결과를 나을 지는 아지 알 수 없으며 지켜보아야 함


프레임워크가 어떻게 작동하는지, 기업·산업별 재량에 따라 해석의 유연성의 차이나 실제 효력이 어떻게 구축되고 조정되어 가는지 등은 실제로 구조가 작동되기 전에는 알 수 없는 부분이 많기 때문


그러나 싱가포르가 AI 거버넌스 프레임워크와 관련해 새로운 관점과 방식을 제시한 것은 사실이며, 싱가포르의 노력으로부터 무엇을 배울 것인지를 식별하기 위해서라도 싱가포르의 향후 행보를 계속 주시할 필요가 있을 것임