◎인공지능의 자율성, SF의 주제가 현실의 문제로 다가오고 있다

LG경제연구원 '인공지능의 자율성, SF의 주제가 현실의 문제로 다가오고 있다'

아이작 아시모프(Isaac Asimov)는 자기 자신을 모르는 게 없는 사람이라고 여기는 자는 막상 모든 것을 아는 것 같은 사람을 만나게 되면 아주 불쾌해 한다. 라고 말한 적이 있다.  자기보다 똑똑한 인공지능이나 로봇을 만날 때에 사람들이 이런 감정을 느낄지도 모른다. 알파고(AlphaGo)와 같은 딥러닝(Deep Learning) 방식의 우수한 인공지능들이 속속 개발되고 있고, 더 똑똑한 로봇들이 계속 개발될 것이다.

인공지능의 자율성이 높아지면서 인간과 인공지능 둘 중 누구의 의견을 따라야 할지 판단할 수 있는 기준 마련의 필요성이 제기되고 있다. 인간 대 인공지능간의 문제뿐만 아니라 인공지능간의 경쟁에서 발생할 수 있는 갖가지 상황에 대한 우려들도 제기되고 있다. 이와 함께 첨단 기술이 등장할 때마다 거론되던 ‘기술의 가치 중립성’이란 이슈도 과연 인공지능에게 해당되는지 확인해 봐야 한다는 주장도 있다.

학계에서는 2000년대 초반부터 인공지능의 의사결정권 등에 대한 논의가 시작되었고, 최근 들어서는 미국 등 선진국을 중심으로 인공지능과 로봇의 상용화에 대비한 법·제도를 마련하려는 움직임도 늘어나고 있다. 2016년 6월 말 미국 연방항공청(FAA)이 발표한 UAV(Unmanned Aircraft Vehicle) 운용 규정은 인공지능과 로봇의 상용화에 대비한 최초의 제도적 대응이다. 인공지능과 로봇에 법인격을 부여하자는 안도 있다. 물론 이에 반대하는 의견이 여전히 많지만 로봇의 법인격에 관한 논쟁은 계속 커질 것으로 보인다.

장기적 관점에서 보면, 인간이 자동차의 운전석을 인공지능에게 넘겨주는 것은 인간 자신의 생명과 윤리적 문제의 결정권을 모두 기계에게 위탁하는 것과 마찬가지이며, 이는 앞으로 다가올 더 큰 변화의 시작에 불과할 수도 있다. 
알파고(AlphaGo) 이후 인공지능 기술의 흐름에서 뒤처지고 있다는 위기 의식이 확산되는 지금, 인공지능은 국가 경쟁력 측면뿐만 아니라 일자리 문제, 법·제도 관련 이슈, 윤리적 과제 등 다양한 숙제를 우리에게 동시에 던져주고 있다. 이런 과제와 고민들은 결코 다른 나라의 문제나 호기심 또는 지적 유희 차원의 문제가 아니라 우리의 현실 문제로 빠르게 다가오고 있다.

 

< 목 차 >

1. 통제를 벗어난 인공지능
2. 높아진 인공지능의 자율성
3. 자율성의 수준에 대한 고민
4. 자율성의 수준에 대한 학문적 연구, 현실적 대응

 

1. 통제를 벗어난 인공지능

 

‘아이쿠’ 하는 순간들

2007년 10월 13일, 남아공에서는 로봇 방공포가 갑자기 작동해서 수십 여명의 사상자를 발생시킨 사고가 있었다. 인명 손실을 줄이고 정확성을 높이고자 도입된 로봇이 오히려 인명 피해를 일으킨 주범이 되어버렸다.

2010년 5월 6일은 평범하게 시작해서 역사에 길이 남을 하루(Flash Crash of May 6, 2010)가 되었다. 오후 2시 42~47분의 단 5분만에 증시의 1/10, 금액으로는 1조 달러가 증발했던 것이다. 천분의 일초 내지 백만분의 일초 단위로 움직이던 초단타 매매(HFT, High-Frequency Trading) 인공지능들이 특정한 매도 거래에 개입했다가 부족한 매수 주문을 확인하자마자 손실을 줄이기 위해 경쟁적으로 팔아 치우기 시작한 영향이 순식간에 포트폴리오 전체로 확산되고 결국 시장 전체가 폭락하는 상황에 이르렀던 것이다. 당시 어떤 기업의 주가는 한때 단돈 1센트로 떨어졌다가 몇 초 만에 다시 30~40 달러로 폭등하기도 했다.

2016년 상반기에는 미국, 일본에서 낮은 수준의 자율주행 기능을 갖춘 자동차들이 여러 건의 교통 사고를 일으켰다. 이 가운데 테슬라(Tesla) 모델 S의 운전자는 사망하기도 했다. 이를 계기로 자율주행자동차 사고의 책임을 운전자와 제조사 중 누가 져야 하는지에 대한 관심이 학계의 주제에서 현실의 이슈로 발전했다. 아울러 자율주행자동차가 운전자와 보행자 중 누구를 더 보호하도록 개발해야 하는가라는 윤리적 문제에 대한 관심도 보다 커졌다.

2016년 7월에는 미국 캘리포니아 주의 한 쇼핑센터에서 최신형 보안 서비스 로봇이 16개월된 유아를 공격해서 다치게 한 사고가 발생했다. 사고 발생 후에는 이와 유사한 사례들이 그 전에도 있었다는 사실이 드러났다.

2000년대 이후 점점 늘어나고 있는 이런 사고들은 모두 ‘아이쿠’ 하는 순간에 일어났다는 공통점을 보이고 있다.

충실한 역할 수행도 사고의 원인

폭발물 제거용 로봇, 가정용 로봇 청소기 등 다양한 서비스 로봇으로 유명한 아이로봇(iRobot) 사의 엔지니어가 ‘아이쿠 하는 순간(Oops Moments)’이라고 표현한 인공지능 관련 사고들은 인공지능이나 로봇의 사용 경험이 가장 풍부한 방위산업 분야에서는 익숙하리만큼 계속 일어나고 있는 것으로 알려진다. 폭발물 제거용으로 널리 사용되었던 탤론(Talon)이란 군사용 로봇은 가끔 자폐증 환자처럼 움직인다고 사용자들이 레인맨(Rain Man, 자폐증 환자를 주인공으로 한 1988년 영화)이란 별명으로 부르기도 했을 정도였다.

그런데 최근 사고를 통해 드러난 심각한 문제는 인공지능이나 로봇의 충실한 역할 수행도 사고 발생의 단초가 될 수 있다는 점이다. 휴대전화나 컴퓨터 등 각종 전자 장비에 의한 전자기 신호 간섭, 소프트웨어 오류 등 익히 알려진 비정상적 원인으로 인한 오작동뿐만 아니라 제대로 만들어져서 정상적으로 작동하는 인공지능들조차도 사고를 일으킬 수 있다는 것이다.

그 이유는 바로 인공지능 또는 로봇이 스스로 결정할 수 있는 능력인 자율성을 갖추고 있기 때문이다. 인공지능의 자율성이란 주변 환경을 관측(Observe)하고, 판단(Origin)해서, 결심(Decision)한 후 행동(Act)하는 의사 결정 과정인 OODA 루프(Loop)상의 각 단계별로 인공지능 스스로 결정할 수 있는 능력을 의미한다. 인공지능, 로봇이 의사 결정을 하는 단계가 많을수록 자율성의 수준도 높다고 할 수 있다. 높아진 자율성만큼 인간 사용자의 기대와 통제를 벗어난 행동을 할 확률이 높아지며 그것이 사고로 연결될 가능성도 높아지게 되는 셈이다.

 

2. 높아진 인공지능의 자율성

 

일상적 영역으로 확산되는 인공지능

사실 인공지능은 개념을 조금씩 달리하면서 수십 년 전부터 사용되어 왔다. 과거에는 자동화된 무기 시스템이나 원격조종 로봇 또는 자동매매시스템 등의 형태로 방산, 금융 서비스 등 전문적인 영역에서만 사용되었으므로 대중들이 일상 생활에서 체감하지 못했을 따름이다.

이제는 인공지능의 적용 분야가 스포츠, 교통 등 일상적인 영역으로 서서히 확대되고 있다. 특히 최근 공개된 인공지능이나 로봇들은 완성도 측면에서 대중의 인식을 단번에 바꿀 만큼 인상적이고, 인간의 개입 없이 스스로 판단하고 행동할 수 있다고 여겨질 만큼 우수해졌다. IBM의 왓슨(Watson)과 구글(Google)의 알파고(AlphaGo)는 정보 검색이나 바둑 등 각각의 활동 분야에서 인간보다 우수하다고 인정받을 만큼 뛰어난 성능을 선보인 바 있다. 구글(Google)과 테슬라(Tesla)는 2020년경 상용화를 목표로 자율주행자동차의 개발에 박차를 가하고 있고, 아마존(Amazon) 등 글로벌 기업들은 물류 작업이나 UAV(Unmanned Aircraft Vehicle, 드론)를 이용한 배달 등 각종 서비스 사업도 추진하고 있다.

최근 등장한 인공지능들의 공통점은 과거에 비해 훨씬 높은 수준의 자율성을 가지고 있다는 점이다. 인간 개개인이 감당하기 힘들만큼 엄청나게 많은 정보를 인간보다 훨씬 빠른 속도로 처리할 수 있는 능력 덕분에 인공지능의 의사결정 과정에 인간이 개입할 여지가 줄어들고 있는 것이다. 인공지능 사용 경험이 풍부하게 축적된 방산 분야의 일부 전문가들은 장기적으로 인간의 역할은 인공지능이나 로봇이 고장 났을 때에 해결해 주는 관리자 정도에 그칠 것으로 예상하기도 한다.

논란을 유발한 작곡용 인공지능

HSS(Hit Song Science)와 같이 대중 음악의 작품성을 독자적으로 평가하는 인공지능이 등장해서 인기를 끌었던 1990년대 미국에서는 인공지능인 에미(Emmy)가 인간의 도움 없이 작곡한 클래식 음악이 진정한 창작품인지 여부를 두고 논란이 커진 적이 있다. 인공지능의 작품이 인간이 만든 것과 다를 바 없다고 옹호하는 의견도 있었지만 음악, 미술 등 예술적 창작 분야를 오직 인간의 몫으로만 여기는 다수의 사람들은 에미(Emmy)의 작품을 창조성이 결여된 획일적인 것, DB화되어 있는 과거의 성공작들을 의도적으로 조각조각 분해한 후 재조립한 것에 불과한 것이라고 힐난했다. 인공지능 작곡가에 대한 논란은 개발자 데이빗 코프(David Cope)가 알고리즘의 DB를 삭제해서 에미(Emmy)를 복구 불가능하도록 파괴함으로써 종식되었다. 당시의 논란은 미국의 클래식 음악계 내에만 국한되어서 크게 두드러져 보이지 않았고 여파도 크지 않았다.

 

인간 vs. 인공지능

현재 많은 전문가들은 에미(Emmy)의 경우처럼 자율적인 인공지능의 활동이 인간과 갈등을 빚는 공간이나 영역이 점차 늘어날 가능성이 있다고 본다. 또 인공지능의 활동이 영향을 주는 범위도 개인의 차원에서 때로는 사회적, 국가적 차원에 이를 수 있고, 영향력의 수준 또한 사소한 불만족에서부터 재산 손실, 인명 피해 등 심각한 경우에 이를 수 있을 것으로 보고 있다. 왜냐 하면 인간과 인공지능이 상황 판단(Origin)이나 결심(Decision), 또는 행동(Act) 과정에서 각각 상이한 결정을 내릴 수 있기 때문이다. 인공지능이 사용자의 지시나 기대와 다른 결정을 내리는 상황에 직면하는 인간은 대부분 고민에 빠질 것이다. 즉, 인간과 인공지능간에 갈등이 빚어지는 것이다. 이러한 갈등은 다양한 상황에서 발생될 수 있다. 몇가지 예를 통해 이를 알아보기로 하자.

● 가정, 가구·가전 기기와의 의견 충돌

로봇화된 의자가 내장된 인공지능의 결정에 따라 볕이 잘 드는 위치로 옮겼는데, 정작 사용자는 그 지점이 너무 밝아서 싫어할 수도 있다. 냉장고의 인공지능이 사용자에게 비만이니 그만 먹어야 한다고 계속 잔소리를 늘어놓거나 심한 경우에는 냉장고 문을 열어주지 않을 수도 있다. 유머 감각을 뽐내던 우주탐사로봇 타스(TARS)가 수리 받는 도중에도 주인공의 기분에 아랑곳하지 않고 계속 썰렁한 농담을 내뱉던 영화 인터스텔라(Interstellar, 2014)의 한 장면처럼 가정용 감성 서비스 로봇의 유머가 사용자의 취향과 맞지 않을 수도 있다. 해결 방안은 영화에서처럼 타스(TARS)의 유머 수준을 낮춰서 농담을 못 하게 만들듯이 자율성의 수준을 조절하는 데에서 찾을 수도 있다. 하지만 때때로 개발자의 의도가 사용자의 성향에 맞지 않아서 인공지능에 대한 불만족이 지속될 수도 있다.

● 병원, 인공지능이 내린 진단에 대한 고민

사용자인 의사는 환자에 대한 진단, 처방, 시술 등 각 진료 단계에서 종종 자신의 경험, 생각과 인공지능의 판단이 배치되는 상황에 직면할 수 있다. 만일 인공지능 도입의 또 다른 수혜자인 환자에게도 선택에 개입할 기회가 주어진다면, 환자 역시 자신의 생명을 누구의 진단 결과에 맡겨야 하는지에 대해 심각한 고민에 빠질 수 있다.

● 도로, 자율주행자동차를 둘러싼 고민

자율주행자동차의 선택 경로 또는 자율주행자동차의 운행 패턴이 사용자의 취향과 맞지 않을 수도 있다. 중고 자율주행자동차의 전 소유주가 폭주족인지 모르고 구매한 새로운 소유주는 장시간에 걸쳐 인공지능을 새로 학습시켜야 하는 고역을 치를 수도 있다. 또한 자동차 개발자도 고민에 빠질 수 있다. 만일 탑승자와 다수의 보행자 중 하나만 선택할 수 있는 이른바 ‘소피의 선택(Sophie’s Choice)’과 같은 딜레마에 처했을 때에 인공지능이 보행자 보호를 우선시하도록 만들면 소비자가 구매하지 않을 것이고, 무조건 탑승자를 보호하도록 만들면 도덕적 논란의 대상이 될 수 있기 때문이다.

● 온라인, 자동 매매 시스템과의 경쟁

인간과 달리 행동의 공정성에 대한 개념을 가지지 않은 인공지능 때문에 티켓, 주식, 에너지 등 각종 자원 거래 시장은 실제 소비자들에게 훨씬 불리하게 변형될 수 있다. 실제로 열차, 콘서트 티켓 판매를 자동매표시스템에 위임한 이후, 암표상들이 자동 프로그램으로 할인 티켓이나 황금 시간대의 티켓을 싹쓸이하는 바람에 실제로 여행을 가거나 콘서트에 갈 사람들은 정상가격보다 더 비싸게 주고 사야 하는 경우가 많아졌다. 또 금융시장에서는 초단타 매매 인공지능이 인간들간의 거래에 몰래 개입해서 마진을 챙겨간다. 효율적인 티켓 판매를 목적으로 도입한 인공지능이 불공정한 부의 이전을 촉진하는 역할을 하게 된 것이다. 이런 불공정한 현상은 전력 도소매 등 공공성 있는 자산을 거래하는 시장이 생길 때마다 재연될 가능성이 크다.

 

● 전장, 킬러 로봇의 결정에 대한 고민

사용자인 인간은 종종 킬러 로봇이 민간인을 공격 대상으로 오인하거나 임무 수행을 위해 민간인 피해를 무시하고 있는 것은 아닌지 의심해 볼 수 있다. 군사적 행동은 사회적으로도 파장이 크고 돌이킬 수 없는 문제이다. 전쟁터에서 자국의 인명 손실을 줄이려는 각국 정부의 노력이 역으로 자율성을 갖춘 킬러 로봇의 개발과 보급을 가속화시킬 수 있어서 사용자가 고민하는 경우도 늘어날 수 있다.

인공지능 vs. 인공지능

 

인간과 인공지능간의 갈등뿐만 아니라 인공지능끼리의 경쟁이나 충돌도 중요한 문제가 될 것으로 보는 전문가들도 많다. 이들은 인공지능간의 갈등이 우발적인 결과를 낳을 수 있다는 것은 막연한 추측이 아니라 곧 현실화될 문제라고 주장한다. 단지 인공지능의 개발 자체가 여전히 큰 관심사인데다, 금융, 방산 등 전문적인 분야 외에는 인공지능을 사용한 경험이 부족한 탓에 충분히 다루어지지 못했을 뿐이라는 것이다.

인공지능간의 경쟁에서 비롯될 부작용을 주장하는 연구자들은 인공지능이 사용상의 부작용에 대해서는 전혀 고려되지 않은 채, 각각 독립적으로 오로지 목표 성취만을 위해 만들어지는 현실을 우려한다. 독립적으로 개발된 인공지능들 각각의 개별적이고 사소한 행동들이 모두 합쳐지면 심각한 현상으로 번질 수 있다는 것이다. 구글(Google)의 인공지능 전문가인 피터 노빅(Peter Novig)은 인공지능들 각각의 개별적인 행동이 모여서 대형 사고를 낳을 수 있는 영역으로 미국의 의료 분야를 거론하기도 했다. 매일 발생하는 미국 내 의료사고 사망자 200여 명 중 상당수는 바로 컴퓨터의 오류에 의한 것인데, 이런 컴퓨터의 실수와 의료 과정 상의 잘못이 결합하면 두어 달마다 911 테러와 맞먹는 규모의 사망자가 발생할 수도 있다고 경고했던 것이다. 인공지능이 통제하는 금융시장을 연구한 학자도 인공지능에게 전체적인 통제권을 주는 것이 어떤 결과를 낳을지 예측하기 힘들다는 견해를 보이기도 했다.

사실 이 같은 우려는 2010년 미국 증시 폭락(2010 Flash Crash)으로 이미 한 차례 현실화되었다. 미국증권거래위원회(SEC)가 6개월 이상의 장기 조사를 통해 시장 폭락의 원인으로 지목한 것은 다름 아니라 인공지능들 각각의 거래 행태였다. 각 금융기관들마다 독자적으로 개발한 초단타매매(HFT) 인공지능들이 인간으로부터 거래 권한을 위임 받은 후 각자 역할을 너무나 신속하고 동시 다발적으로 열심히 수행하는 바람에 증시 폭락이 발생했다는 것이다.

2010년 당시의 경험은 평범한 사람들의 저축, 연금, 기부금이 운용되는 금융시장의 운명이 사람이 아닌 기계, 인공지능에게 달려있다는 사실을 깨닫게 하는 중요한 계기가 되기도 했다. 그 이전에 진행되었던 관련 연구들에서는 초단타매매가 시장의 변동성을 줄여주고 시스템상의 위험(Systemic Risk)를 일으키지 않을 것이라 예측했지만 현실은 정반대였기 때문이다.

금융시장에서 인공지능들간의 경쟁이 문제를 일으킬 가능성은 여전하다고 볼 수 있다. 일단 인공지능의 활동량이 여전히 많다. 미국 증시에서 초단타매매 인공지능이 차지하는 비중(거래건수 기준)은 2000년 10% 미만에서 2009년 무렵에는 최고 수준인 73%까지 늘어났다고 한다. 또한 십진법 도입에 따라 주가변동폭을 1997년 1/8 달러(12.5센트)에서 2001년 1/100 달러(1센트)로 세분화한 제도 개편도 가격 차이를 활용하는 인공지능의 개입 폭을 한층 확대시켜주는 효과를 가져왔다. 게임의 법칙을 수익 중심에서 물량 중심으로 바꾸게 만들어서 천분의 일초에서 백만분의 일초에 한번씩 거래하는 인공지능(Flash Trading)들이 더 많은 거래 물량을 만들 수 있게 해주었기 때문이다. 이탈리아 등 일부 국가에서는 초단타매매의 폐해를 막기 위해 2013년 0.5초 미만의 거래에 0.02%의 추가부담금을 물리는 제도를 도입하기도 했다.

유사한 사고들은 각종 첨단기술들이 총동원된 군사분야에서 이미 심심치 않게 발생한 바 있다. 2003년 이라크전 당시 수 차례나 발생했던 자동화된 패트리어트 미사일 시스템의 연합군 전투기 오인 격추 사고들은 모두 인공지능간의 충돌에 의한 비극이었다. 무선식별장치의 차이(IFF Mode 2, Mode 4)로 인한 불통을 접한 센서가 잘못된 정보를 제공하고 레이더의 인식 오류가 발생하는 등 모든 요인이 단독 또는 복합적으로 작용해서 발생했던 것이다. 물론 당시에도 최종 결정권을 가진 인간 담당자들은 모두 컴퓨터의 판단을 더 신뢰한 바 있다.

이와 유사하게 최근 많은 관심을 받는 자율주행자동차들간에도 눈에 보이지 않는 경쟁이 벌어질 수 있고, 자율주행자동차와 첨단교통시스템간에도 갈등을 빚을 가능성을 배제할 수 없다. 국가마다 다양한 기술이 적용된 지능형 교통 시스템을 운용할 것이고, 자동차 업체마다 고유의 인공지능을 사용할 것이므로 장비 차이에 의한 통신 오류 또는 시스템간 호환성 문제 등 다양한 충돌이 생길 수 있기 때문이다.

그래서 인공지능의 도입이 확산되면 다양한 영역들에서 인공지능들간의 충돌이 예상치 못한 부작용을 불러올 가능성을 무시할 수 없을 것으로 보인다.

 

3. 자율성의 수준에 대한 고민

 

높아진 자율성만큼 커지는 우려

자율성이 높아진 인공지능과 로봇의 상용화 가능성이 점점 커지면서 인공지능의 판단이나 로봇의 사용이 야기한 결과와 그 결과의 책임 소재, 사용자 보호, 공공안전 등과 관련된 법·제도의 정비가 중요하고 시급한 이슈로 떠올랐다. 아울러 독자적으로 판단하고 행동하는 활동 범위를 확장해 나가는 인공지능을 어떻게, 그리고 얼마나 인간 사회의 각종 가치와 법칙을 존중하도록 설계할 것인가라는 문제도 점점 현안으로 부각되고 있다.

장기적으로 인공지능에 대한 인간의 불안과 고민이 더욱 커질 것으로 보는 전문가들이 많다. 아직 인공지능이 특정 영역의 정보 처리 능력만 갖춘 약한 수준(Narrow AI, Weak AI)에 머물러 있지만, 장기적으로 모든 분야에 걸쳐 두루 문제 해결 능력을 갖춘 강한 인공지능(General AI, Strong AI)이 등장하면 인간의 개입 수준뿐만 아니라 개입 영역마저도 줄어들 가능성이 있어서다. 훨씬 높아진 자율성의 수준만큼 인간의 개입이 적어지면서 인공지능이 어떻게 판단하고 처리할 것인지 정작 사용자인 인간은 알지 못하는 불확실성도 커지리라 보는 것이다.

이 같은 우려는 전혀 근거 없는 것이 아니다. 일부 로봇 전문가들은, 1988년 7월 미군이 페르시아만에서 승객 290명을 태운 이란 민항기(Iran Air 655)를 격추시켜 전원 사망하게 만든 비극을 자율적인 판단 능력을 갖춘 기계 앞에서 인간의 핵심적인 역할이 달라지는 대표적인 사례로 든다. 원인은 로봇 순양함(Robo-cruiser)이란 별칭으로 불렸던 미군의 이지스(Aegis) 순양함이 민간 여객기를 적 전투기로 오인해서였다. 후일 조사에 따르면, 당시 이란 여객기는 지정된 항로를 따라 비행하면서 민간 항공기라는 무선 신호도 보내고 있었다. 그래서 당시 인간 승무원들이 보던 레이더 화면에는 전투기가 아닌 민항기라는 사실을 보여주는 확실한 신호가 떠있었지만 어느 누구도 이지스 시스템의 판단을 의심하지 않았다. 신의 방패란 애칭으로 불릴 만큼 우수한 성능을 인정받아 예외적으로 독자적인 공격 권한까지 부여 받은 이지스 시스템이 내린 판정을 인간은 자신의 눈에 보이는 레이더 화면의 신호보다 더 믿었던 것이다. 이처럼 인간이 로봇 시스템의 판단을 더 신뢰함으로써 발생하는 사고는 인공지능의 판단이 100% 정확해지기 전까지는 계속 일어날 수 있을 뿐만 아니라 오히려 성능이 높아질수록 더 치명적인 사고로 이어질 가능성도 여전해 보인다. 실제로 10년 이상이 지난 2003년 이라크전 당시 등 2000년대 들어서도 유사한 사고는 수 차례나 반복되었다.

관건은 자율성의 수준

 

인공지능이 예상치 못한 문제를 일으킬 수 있다고 해서 자율성을 완전히 제거할 수는 없다. 자율성은 인공지능, 로봇의 도입 목적인 인간의 대체 효과, 즉, 인력 투입 및 관련 비용 절감을 위해 필수적인 요소이기 때문이다. 만일 인공지능이 자율적 판단을 할 수 없다면 일일이 인간의 통제를 받아야 할 것이므로 인력 투입은 줄어들지 않을 수도 있다. 모든 비행 과정을 인간이 일일이 통제하는 첨단 UAV 프레데터(Predator)의 비행에 2명의 조종사가 필요하듯이 오히려 투입 인력이 늘어날 수도 있다.

 

이런 점을 고려하면 결국 문제의 핵심은 인공지능이 어느 정도의 자율성을 가지게 할 것인가, 바꿔 말하면 인간이 인공지능에게 자율적 의사결정권을 얼마나 부여해야 하는가라는 점이 될 것이다.

그 이유는 첫째, 자율성의 수준이 인공지능의 도입 효과를 결정하기 때문이다. 인공지능의 자율성은 인간이 가진 권한과 책임의 공유, 위임을 의미하므로 인간의 통제, 개입 수준과 반비례하게 된다. 그래서 인간을 대체하는 효과가 그만큼 커진다는 것이다. 둘째, 자율성의 수준에 따라 인공지능의 판단에 대한 책임 소재가 달라지기 때문이다. 그 예로는 최근 미국, 일본의 자율주행자동차 사고의 책임을 제조사가 아닌 운전자에게 묻는 분위기를 들 수 있다. ADAS(Advanced Driver Assistance Systems) 수준이 낮은 단계의 자율주행기능을 사용자가 과다하게 신뢰하고 이용했다고 보는 의견이 더 많은 것이다. 셋째, 자율성의 수준은 사용자의 편의성과 안전성에 직결되기 때문이다. 예를 들어 지나치게 똑똑해서 매사 간섭하려 들거나, 잔소리를 잔뜩 늘어놓는 인공지능은 사용자에게 불편한 존재가 될 가능성이 크다. 한편 자율주행자동차의 경우에는 인공지능이 잔소리를 하는 것이 오히려 탑승자의 생명 보호에 도움이 될 수 있다. 넷째, 자율성의 수준은 기계에 대한 인간의 핵심적인 역할을 바꾸는 변수로 작용할 것이기 때문이다. 자율성을 갖춘 기계 앞에 선 인간의 역할이 OODA 루프 상의 최종 과정인 행동(Act) 단계에만 거부권을 행사하는 수준이거나, 인공지능이 고장 났을 때에 해결 능력을 제공하는 감독자 정도에 그칠 가능성도 엿보이기 때문이다.

마지막으로 인간이 인공지능의 판단을 곧이곧대로 신뢰하는 경향이 있다는 점에서도 자율성의 수준은 중요한 문제이다. 인간이 인공지능이나 로봇을 맹신할 수 있다는 우려는 로봇의 지시를 접한 인간의 반응을 조사한 실험을 통해 사실로 드러난 바 있다. 당시 실험에서는 먼저 ‘인간’ 감독관이 피실험자들에게 과제 수행을 완료하기 전에는 절대로 방 바깥으로 나가지 말라고 지시한 다음, 로봇이 들어가서 상반되는 지시를 내리게 했다. 그러자 결과는 놀라웠다. 로봇이 자신을 ‘조사팀 멤버’라고 소개한 후 하던 일을 멈추고 즉시 방에서 나가라고 지시하자 대부분의 피실험자들이 그대로 따랐던 것이다. 이후 분석을 통해 알려진 핵심적인 원인은 ‘조사팀 멤버’라는 소개였다. 이를 근거로 사람들이 로봇의 자격을 인정하거나, 배후에 정당한 권한을 지닌 인간 감독관이 있다고 믿으면서 설령 로봇이 상반되는 지시를 해도 그대로 따랐다는 것이다.

자율성의 수준은 용도, 영향에 따라 달라질 전망

관련 연구들을 종합하면, 인공지능의 자율성 수준은 관련 기술의 완성도뿐만 아니라 도입 용도, 적용 분야, 영향력, 그리고 개발자의 철학 등에 따라 다양해질 것으로 보인다.

첫째, 기술의 완성도이다. 인공지능의 도입 효과를 극대화하기 위한 자율성의 구현은 기술의 몫이기 때문이다. 주요 관련 기술에는 인공지능뿐만 아니라 필요한 정보를 수집하는 각종 센서와 인공지능의 판단을 행동으로 옮기는 다양한 작동체(Effector)까지 포함하게 될 것이다. 인공지능이 딥 러닝 방식이든 알고리즘 방식이든 목표 달성을 위해서는 정보가 필요하고, 결과물을 만들기 위해 행동으로 옮길 수 있어야 하기 때문이다. 예를 들어 인공지능이 증권시장에서 가장 순조롭게 도입된 이유도 기술의 완성도에서 찾을 수 있다. 금융정보들의 형태가 인공지능이 사용하기에 알맞은 정량적(Quantitative) 자료로 되어있는데다, 공신력 있는 관계기관의 서버들을 통해 신속하게 입·출력될 수 있기 때문이다. 반면, 테슬라(Tesla) 차량 사고의 원인으로 알려진, 맑은 하늘과 흰색 트레일러를 도로 표지판 등으로 오인한 레이더(Radar)와 카메라의 정보 처리 오류는 여전히 센서와 인공지능의 성능이 부족하다는 사실을 보여준다. 높은 수준의 자율성을 확보하기에는 기술적으로 불충분하다는 것이다.

둘째, 용도 적합성이다. 특정 용도마다 사용자가 원하는 수준에 비해 부족하거나 과하면 사용자의 편의성을 저해할 수 있다. 예를 들어 고도의 인공지능을 갖춘 의자나 침대가 제대로 작동해서 결정한 위치가 사용자가 원하는 지점과 다르다면 사용자는 그 방을 결코 편안하게 여기지 않을 것이다.

셋째, 결과의 가역성이다. 킬러 로봇처럼 인공지능의 판단에 의한 결과를 돌이킬 수 없는 경우에는 인간의 통제 하에 두자는 주장이 많은 지지를 받고 있다.

넷째, 인공지능의 결정이 야기할 영향력의 수준이다. 인공지능의 판단이 사용자의 안전을 위협하거나 금융 시스템 등 사회적 질서 붕괴로 이어질 가능성이 큰 분야에서는 안전성의 확보를 위해 인간의 통제 비중이 더 클 것이다.

다섯째, 용도에 대한 도덕적, 윤리적 판단이다. 엘리베이터가 오르내리는 데에 신경을 곤두세우는 사람은 거의 없다. 로봇 청소기가 바닥 청소를 한다고 분주히 돌아다녀도 놔둔다. 이미 인간은 층간 이동이나 청소처럼 기계의 자율적 결정을 사회통념상으로나 윤리적으로 받아들일 수 있는 분야에 대해서는 놀랍도록 무관심하게 기계에게 권한을 넘겨준 것이다. 반면 킬러 로봇은 도덕적 논란의 핵심에 있다. 기술적으로 가능해도 인간의 생사를 인공지능이 결정하도록 할 수 없다는 윤리적 차원의 반대가 여전히 큰 것이다. 또 최근에는 자율주행자동차도 윤리적 차원에서 큰 관심을 받고 있다. 1967년 철학자 필리파 풋(Philippa Foot)이 처음 소개한 이후 윤리적 딜레마의 단골 소재로 등장하는, 자동차 사고를 피할 수 없을 때에 한 명의 운전자와 다수의 보행자 중 누구를 선택할 것인지 하는 문제가 자율주행자동차의 개발자와 사용자간의 책임 소재를 결정짓는 잣대가 될 수 있기 때문이다.

여섯째, 개발자의 철학도 중요하다. 개발자의 성향과 의도에 따라 자율성의 수준이 결정될 것이기 때문이다. 개발자와 사용자의 행위에 중점을 둔 로봇윤리가 인공지능, 로봇 자체에 관한 기계윤리보다 더 활발하게 연구되는 현황도 개발자의 가치관이 지닌 중요성을 잘 보여준다. 핵무기 개발을 둘러싼 과학자들간의 입장 차이도 유사한 사례가 될 수 있다. 수소폭탄 개발에 극력 반대한 로버트 오펜하이머(Robert Oppenheimer) 같은 과학자들이 에드워드 텔러(Edward Teller)처럼 동조하는 이들보다 압도적으로 많았다면 수소폭탄은 등장하지 않았을 수도 있어서다.

 

4. 자율성의 수준에 대한 학문적 연구, 현실적 대응

 

인공지능 확산을 준비하는 움직임

2000년대 들어 인공지능의 도입을 순조롭게 추진하고 그에 따른 각종 부작용도 최소화하기 위해 학계에서부터 기업, 정부 등이 각자 다각적인 노력을 기울여 오고 있다. 기업들이 주로 도입 이전인 개발 과정에 개입해서 문제 발생을 방지하는 데에 주력하고 있다면, 정부들은 사후적 처리에 초점을 맞춘 법·제도적 대응 방안을 모색하고 있다. 적용 대상 별로 나누면, 인공지능의 개발자들에게 해당되는 과제와 도입 이후 개발자와 사용자 모두에게 적용되는 과제로도 나눠볼 수 있다.
그리고 이에 앞서서 다양한 대응 방안 마련에 필요한 이론적 기반을 제공하려는 학문적 노력인 로봇 관련 윤리 연구가 꾸준히 선행되어 오고 있다.

다시 조명 받는 로봇 관련 윤리

“과학기술의 발전은 병적인 범죄자의 손에 들린 도끼와 같다.”라고 했던 알버트 아인슈타인(Albert Einstein)의 경고를 심각하게 여기는 연구자들은 항상 시스템의 자율성이 커지면 공학자들도 그에 상응해서 안전과 책임 문제를 더 폭넓게 고려해야 한다고 주장해 왔다. MIT 감성컴퓨팅 연구소장을 지낸 로설린 피카드(Rosalind Picard) 같은 로봇공학자들도 기계의 자유가 커질수록 도덕적 기준이 필요하다고 한 바 있다. 바꿔 말하면, 기술 발전으로 향상되는 자율성에 비례해서 도덕적 고려 사항을 누가 어떻게 다룰 것인가도 고민해야 한다는 것이다. 이러한 학계의 분위기를 배경으로 2000년대 초반 로봇윤리(Roboethics) 연구가 시작되었고, 2005~2008년 진행된 EU 차원의 공동 프로젝트 ‘ETHICBOTS’ 등으로 확산되었다. 인공지능의 도입이 가속화될 조짐을 보이는 현재에는 로봇윤리 연구에 대한 관심도 더욱 커지고 있다.

 

로봇윤리는 로봇이나 인공지능이 유발할 수 있는 각종 사회적, 윤리적 문제의 발굴 및 해결 방향을 모색하기 위해 철학적, 이론적 기반을 갖추려는 학문적 노력이다. 로봇윤리는 개발자와 사용자가 어떻게 대응할 것인가 하는 로봇공학 측면의 윤리(Ethics of Robotics)적 문제를 다룬다는 점에서 로봇이나 인공지능 자체가 갖춰야 할 윤리를 다루는 기계윤리(Machine Ethics)와는 다소 다르다. 오늘날 로봇윤리는 현실에 적용될 각종 제도 정비와 정책 수립 과정에서 논리적 토대를 제공하는 중요한 연구가 되고 있다.

오늘날 로봇윤리 측면에서 가장 첨예한 논쟁이 벌어지는 분야 중 하나는 킬러 로봇 개발이 진행되는 군수산업이다. 각국 정부가 인간의 개입이 전혀 없는 완전자율형 무기 개발에 박차를 가하면서 군사용 로봇도 갈수록 정교해지고 있고, 관련 사안들도 윤리적으로 복잡하기 때문이다.

 

학계에서는 안전장치 도입 등 선제적 대응을 추진

현재 인공지능 개발자들은 윤리적 기준과 안전 이슈를 선반영하기 위해 사전에 자율적 결정의 수위를 미리 조절해 놓는 수동적 방안에서부터 유사시 인간이 개입할 수 있는 보다 능동적인 방안에 이르는 다양한 방법을 고안, 적용하고 있다. 
그 결과 일부 수동적 방안들은 인류에 위협이 되지 않도록 행동할 것을 스스로 믿게 만드는 논리 구조를 적용한 우호적 인공지능(FAI, Friendly Artificial Intelligence)의 개발을 목표로 삼고 있다. 인류를 로봇으로부터 보호하기 위해 인공지능이 인간에게 우호적인 감정을 갖도록 설계되어야 한다는 엘리에젤 유도코프스키(Eliezer Yudkowsky)의 우호이론(Friendliness Theory)과 궤를 같이 하고 있는 것이다. 또 다른 수동적 방안들은 인간보다 영리한 인공지능이 인간에게 해를 끼치는 상황을 미연에 방지하기 위해 인공지능 안에 폭력 등의 ‘욕망’을 스스로 제어하게끔 하는 소프트웨어의 개발에 주안점을 두기도 한다.

이보다 적극적인 대응책도 마련되고 있다. 스티븐 호킹(Stephen Hawking), 일론 머스크(Elon Musk) 등 과학계와 재계의 유력한 인사들이 인공지능의 위험성을 강하게 주창한 이후에는 보다 적극적이고 강력한 안전 장치로서 인공지능의 폭주를 막기 위한 킬 스위치(Kill Switch)와 같은 능동적 보호 장치도 개발되고 있다. 인공지능 개발의 선두주자인 구글(Google)도 이런 노력에 동참한 것으로 보인다. 2016년 6월, 자회사 딥마인드(DeepMind)를 통해 인공지능이 인간에게 해를 끼치는 행동을 할 때에 수동으로 인공지능의 작동을 멈출 수 있는 ‘Big Red Button’을 적용하겠다고 발표한 바 있다.

보다 최근에는 각국 정부가 인공지능이나 로봇의 도입 효과에만 관심을 둘 뿐, 그 안에 숨겨진 사회적 위험성은 간과하고 있다고 주장하는 목소리가 커지면서 윤리적 이론을 현실에 적극 반영하려는 공익단체들도 속속 늘어나고 있다. 2016년 설립된 ‘책임감 있는 로봇공학재단(The Foundation for Responsible Robotics)‘과 같은 단체들은 로봇과 관련한 사회적 책임과 윤리적 문제 해결을 설립 목적으로 표방하고 있다. 로봇공학, 법률, 윤리, 사회학 등 관련 분야의 전문가들이 모여서 책임질 수 있는 로봇의 기준을 만들어서 개발자와 사용자들에게 제시하고자 하는 것이다.

인공지능 관련 법·제도 정비도 진행 중

그런데 실효성 측면에서 보면, 로봇윤리를 현실에 반영할 틀은 도덕적인 이론보다는 법적인 책임이 더 유용하다는 주장이 많다. 일찍이 로봇윤리 관련 연구에서도 AMA(Artificial Moral Agents)가 관련된 사건의 책임 소재에서부터 인공지능 개발 기업들이 법률적, 재정적 책임을 덜기 위해 인공지능에게 독립적인 행위자 지위를 부여할 것을 촉구할 가능성, AMA 전담 법률센터의 설립 가능성 등 다양한 관련 이슈들이 논의되어 왔다.

실제로 최근 들어 인공지능, 로봇의 도입에 대비해서 관련 법규와 제도 정비를 추진하려는 각국 정부의 움직임이 늘어나고 있고, 관련 정책이 유리하게 정비되도록 영향력을 행사하려는 기업들의 반응도 점차 속도를 내기 시작하고 있다. 인공지능이나 로봇의 도입 속도가 빨라지고 있는 몇몇 산업에서는 관련 법규와 제도 정비가 진행되고 있고 나아가서는 사회 전반의 변혁을 몰고 올 잠재력 있는 변수인 인공지능의 법인격에 관한 논의도 많아지고 있다.

 

항공분야는 관련 제도가 가장 신속하게 정비되는 영역 중 하나이다. 아마존(Amazon) 등 많은 기업들이 관심을 가진 드론 배달 서비스나 방송, 측량 등 다방면의 UAV 상용화 시도가 추진되고 있고, 민간용 드론이 늘어나면서 비행기 충돌 등 각종 안전사고의 우려가 커지면서 현실적인 대응책 마련이 절실해졌기 때문이다. 가장 먼저 기업들의 의견을 청취하고 정책적 조치를 추진한 바 있는 미국 연방항공청(FAA)은 2016년 6월말 민간용 UAV의 운항 규정을 확정, 발표했다.

FAA의 이번 조치를 보면, UAV의 자율성에 대해서는 당분간 강력한 규제를 유지할 것으로 예상된다. 일단 UAV의 운용 방식으로 가시권 내 비행과 원격조종만 허용했고, 120m 이하 고도, 해가 떠 있는 시간 내 가동 등 운항 조건에 대해서도 엄격한 기준을 제시했기 때문이다. 이런 내용들을 보면 미국에서는 일반 항공기와의 충돌이나 드론에 의한 각종 인적, 물적 사고를 방지할 수 있도록 충분히 검증된 기술이 확보되기 전에는 자율비행을 하기 쉽지 않을 것으로 보인다. 그래서 아마존(Amazon)의 경우, 관련 규제가 아직 도입되지 않은 영국에서 민간항공관리국(CAA)의 허가를 받아 가시권 밖 비행, 장애물 자동 회피, 조종사 1인당 다수의 UAV 동시 조종 등과 같은 과감한 실험을 추진할 계획을 발표하기도 했다.

연이은 사고가 기폭제로 작용한 자동차 분야에서도 미국, 유럽, 일본 등 선진국 정부들이 앞다퉈 인공지능을 갖춘 자율주행자동차에 대한 정책적 가이드 라인 마련을 시작하고 있다. 최근 알려진 각국의 정책적 논의 내용을 종합하면, 당장은 인공지능의 자율성을 크게 인정하지 않을 것으로 보인다. 구글(Google) 본사가 있고, 자율주행자동차의 시험 주행이 가장 많이 이루어지는 미국 캘리포니아 주에서조차 현재에는 운전대와 브레이크를 갖춘 자동차만 일반 도로에서 실험을 할 수 있도록 규제하고 있다. 자율주행기능을 갖춘 자동차 사고를 겪은 미국, 일본 정부는 사고 책임이 운전자에게 있다는 공통된 입장을 보이기도 했다. 자율주행 기능이 아직 불완전한 데에도 불구하고 사용자가 지나치게 과신한 결과라고 보고 있는 것이다.

다만 자율주행자동차 관련 정책의 방향성은 국가별로 달라질 가능성이 엿보인다. 기술 수준의 차이뿐만 아니라 산업 내 주도권 확보를 위한 관련 기술의 표준화 선점이라는 전략적 의지도 함께 작용하고 있기 때문이다. UN 전문가 회의를 통해 공동 논의 중인 한국, 영국, 독일, 프랑스, 일본은 자동운전 기능을 가진 자동차의 추월을 고속도로에서만 허용하거나 사고 책임을 모두 운전자에게 지우는 등 엄격한 안전 기준을 적용하고, 자율주행기능도 2020년대 후반까지 레벨 1에서 레벨 4를 단계적으로 도입하도록 유도할 방침인 것으로 알려진다. 반면 관련 기술을 주도하는 구글(Google), 테슬라(Tesla) 등의 입김이 강하게 작용하는 미국에서는 독자적인 가이드 라인이 논의되고 있다. 미국 도로교통안전국(NHTSA)은 자율주행기능의 도입을 장기간에 걸쳐 단계적으로 허용하기 보다는 2020년경까지, 레벨 4 단계를 단번에 허용할 계획임을 표명했다. 기술에서 앞서는 자국 기업들이 세계 최대 시장인 자국 내수를 선점하도록 함으로써 관련 기술의 국제 표준을 선도하려는 의도가 깔려 있는 것이다.

인공지능의 법적 지위도 논의되기 시작

최근에는 인공지능의 법적 지위라는 중요한 주제도 사고의 책임 소재나 표준화 기술과 같은 실무적 이슈 못지 않게 본격적으로 다뤄지기 시작했다.

자동차 산업에서는 인공지능의 법적 지위에 대한 논의가 진일보하고 있다. 지난 2월 미국 도로교통국(NHTSA)은 구글(Google)의 질의에 대한 유권 해석을 통해 자율주행자동차를 통제하는 인공지능이 운전자로 간주될 가능성이 있다는 전향적 의견을 낸 바 있다. 비록 현재 수준의 인공지능에게 당장 인간과 동등한 수준의 자격을 부여한다는 의미는 아니지만, 앞으로 인간 운전자에게 적용되는 평가 기준을 충족하는 인공지능에게 인간과 동등한 자격을 부여할 가능성을 시사한 것이다.

 

인공지능이나 로봇 자체에 법인격을 부여하자는 논의는 확산되고 있다. 예를 들어 지난 5월 공개된 EU 의회의 로봇 관련 보고서는 지능, 인식 능력, 자율성 측면에서 점점 발달하고 있는 로봇에게 전자인간(Electronic Persons)이란 자격을 부여해서 권리와 의무를 부과하고, 로봇의 고용자에게는 별도의 로봇 관련 세금을 부과하자는 내용을 담고 있다. 옥스포드대(University of Oxford) 연구팀의 유명한 연구 보고서인 ‘직업의 미래(The Future of Jobs)’에서 지적된 바와 같이 로봇 때문에 일자리를 잃은 사람들의 사회보장제도를 다루기 시작한 것이다.

물론 로봇의 법인격 부여를 반대하는 주장도 있다. 당장 지멘스(Siemens), 산업용로봇 기업 쿠카(KUKA) 등 독일 유명 제조업체들의 대표단체인 VDMA는 자율주행자동차를 제외한 여타 로봇에 대한 법인격 부여는 너무 시기상조이고 다루기 복잡한 문제라면서 반대 의견을 표명하기도 했다.

인공지능 관련 이슈는 닥쳐온 현실의 과제

자율성을 갖춘 인공지능에 대한 윤리적 논란은 과거에는 호기심과 논리적, 개념적, 학문적 차원에서 간헐적으로 다루어졌지만 이제는 기업, 정부 등에 의해서도 활발하게 다루어지고 있고, 법·제도 등 보다 구체적인 사안에 대한 논의로까지 확산되고 있다. 인간과 인공지능간의 문제, 인공지능끼리의 충돌 등 발생가능한 갖가지 주제를 로봇공학, 로봇윤리학 등 학계에서부터 정·재계에 이르는 다양한 구성원들이 거론하는 현실은 그만큼 자율성을 가진 인공지능의 이슈가 더 이상 미래의 문제가 아님을 보여주고 있다.

알파고(AlphaGo) 이후 인공지능 기술의 흐름에서 뒤쳐지고 있다는 위기 의식이 확산되는 지금, 인공지능은 국가 경쟁력 측면뿐만 아니라 일자리 문제, 법·제도 관련 이슈, 윤리적 과제 등 다양한 숙제를 우리에게 동시에 던져주고 있다. 이런 과제와 고민들은 결코 다른 나라의 문제나 호기심과 지적 사고의 유희적 문제가 아니라 우리의 현실 문제로 성큼성큼 빠르게 다가오고 있다.  <끝>