인간 위협 우려 초지능 AI를 막을 방법은?

머니투데이 홍성욱 서울대학교, 과학사 및 과학철학 협동과정 교수 2018.03.17 03:33
글자크기

<마지막회>초지능 학습 능력→AI 스스로 '인간의 가치' 부여…기술투명성·사용처 합의와 감시필요

인간 위협 우려 초지능 AI를 막을 방법은?


2차 세계대전은 암호의 전쟁이었다. 독일군과 연합군은 상대방이 해독하기 힘든 암호로 메시지를 전송했고, 서로는 상대의 암호를 풀기 위해서 가장 똑똑한 수학자들을 총동원했다.



블레츨리 파크(Bletchley Park)라는 영국의 작은 도시에는 독일군의 암호를 해독하는 작전 본부가 있었다. 컴퓨터와 인공지능의 선구자 앨런 튜링(Alan Turing)은 여기에서 핵심적인 역할을 했고, 수학과 베이지언 통계학을 전공했던 어빙 존 굿(Irving John Good, 1916-2009)이 튜링을 돕고 있었다. 암호를 풀기 위해 컴퓨터를 발명한 튜링은 전쟁이 끝나고 인공지능에 대한 '튜링 테스트'를 제안했다. 굿 또한 컴퓨터가 점점 똑똑해짐을 보면서 1965년에 '초지능' 기계를 상상했다.

“초지능 기계는 가장 똑똑한 사람들의 모든 지적 능력을 훨씬 초월하는 기계로 정의된다. 기계를 만드는 능력이 인간의 능력 중 하나이기 때문에, 초지능 기계는 더 뛰어난 기계들을 만들 수 있다. 그러면 의심의 여지 없이 지능의 폭발 같은 것이 있을 것이며, 인간의 지능은 한참 뒤처지게 될 것이다. 따라서 만약에 이 초지능 기계가 자신을 어떻게 통제하라는 것을 인간에게 말해 줄 정도로 온순한 것이라면, 이 첫 번째 초지능 기계는 인간의 마지막 발명이 될 것이다.”



어빙 존 굿(Irving John Good, 1916-2009)어빙 존 굿(Irving John Good, 1916-2009)
굿의 예측은 여러 가지 점에서 흥미롭다. 우선 그는 초지능 기계를 ‘가장 똑똑한 사람들의 모든 지적 능력을 훨씬 초월하는 기계’라고 정의했다. 그리고 초지능 기계가 다른 기계들을 만드는 데 있어서 인간보다 뛰어날 거로 강조했다. 초지능 기계는 자동차, TV와 같은 일상 기술은 물론 로봇, 전투 무기, 핵폭탄 같은 무기도 훨씬 더 위력적으로 만들어 낸다는 것이다. 심지어 지금 우리가 상상할 수도 없는 기술이나 무기 생산도 가능하다. 인간은 더 이상 새로운 발명에 골머리를 앓을 필요가 없기에, 초지능 기계는 인간의 ‘마지막 발명’이 될 것이다.

초지능 기계는 자기보다 더 우월한 초지능 기계를 만들 수 있고, 이 기계는 또 자기보다 더 뛰어난 기계를 만들 수 있다. 이렇게 해서 순식간에 ‘지능의 폭발’이 생겨난다. 인간은 할 일이 없어진다. 인간이 개미를 내려다보듯이, 초지능 기계는 인간을 내려다보면서 인간에 대해서 생각을 할 것이다.

비록 인간이 자신을 만들었지만, 인간의 존재가 자기에게 무슨 도움이 될까? 노동력이 필요하다면 인간 대신에 로봇을 만들어 사용하면 되지 않을까? 굿은 미래를 상상하면서, 인류의 존망은 인간이 만든 첫 초지능 기계가 인간에게 우호적인지 적대적인지에 달려있다고 봤다.


그림  스탠리 큐브릭 감독의 '2001 스페이스 오디세이'에 나온 AI 컴퓨터 HAL. “미안해요 데이브, 나는 할 수 없어요”라며 인간 명령을 거부하는 장면으로 유명하다. 그림 스탠리 큐브릭 감독의 '2001 스페이스 오디세이'에 나온 AI 컴퓨터 HAL. “미안해요 데이브, 나는 할 수 없어요”라며 인간 명령을 거부하는 장면으로 유명하다.
초지능 기계가 인류에게 위협이 될 수 있다는 얘기는 영화와 소설에서 자주 등장했다. '2001 스페이스 오디세이'에서는 인간에게 적대감을 가진 HAL이라는 인공지능 컴퓨터가 등장하고, '터미네이터'에서는 미래의 기계 군단이 인간을 말살하기 위해 터미네이터를 과거 지구로 보낸다. '매트릭스'는 인간과 지능을 가진 기계 사이의 전쟁을 소재로 했다.

그런데 최근 몇 년 사이에는 영화나 소설이 아니라 빌 게이츠, 스티븐 호킹, 엘론 머스크 같은 유명 인사들이 미래에 인공지능(AI)이 인류의 위협이 될 수 있음을 역설하곤 했다. 일례로, 엘론 머스크는 AI가 원자탄보다도 더 위험한 존재라면서 이 위험을 줄이기 위해서 사재를 출연, '오픈AI'라는 연구소를 설립했다. 이들이 목소리를 높인 이유는 옥스퍼드 대학교의 철학자 닉 보스트롬(Nick Bostrom)이 저술한 '초지능 – 경로, 위험, 전략'(2014)이란 책을 읽어보면 알 수 있다.

그림3. 닉 보스트롬그림3. 닉 보스트롬
보스트롬은 현재 개발한 AI가 인간의 일반 지능에 한참 못 미친다는 데에 동의한다. 그렇지만 미래의 초지능은 우월한 연산속도, 내부통신속도, 연산 요소들의 수, 메모리, 신뢰성과 수명, 수정능력, 복제성, 목표 조정, 기억 공유, 새로운 모듈 탑재 능력을 이용해 기존에 인간이 축적한 지식을 빠르게 익히고, 이를 조합해서 새로운 지식 역시 빠른 속도로 만들어낼 수 있다는 게 그의 판단이다.

이런 초지능은 자신의 뛰어난 지능을 사용해서 지능 증폭, 전략 수립, 사회적 조정, 해킹, 기술 연구를 수행할 것이며, 합법적, 비합법적 금융망을 장학해서 순식간에 엄청난 경제적 생산력과 부를 축적하고, 이를 미끼로 자신을 지지하는 인간들을 포섭할 것이다.

그림4. 보스트롬의 <초지능>그림4. 보스트롬의 <초지능>
초지능이 자의식을 가진 유기체 비슷한 존재라면 초지능도 삶의 목표나 가치가 있을 수 있다. 인간과 달리 초지능은 음식, 공기, 온도, 신체적 손상, 질병, 포식, 섹스, 자손에 무관심하며, 음악, 유머, 로맨스, 자연, 전통, 춤, 대화, 철학, 문학, 모험, 발전, 우정, 영성처럼 인류가 가치 있다고 생각하는 활동에 아무런 흥미를 느끼지 못한다. 하지만, 초지능 AI의 가장 중요한 목표는 자기를 보호하고 유지하는 것이다.

초지능은 모든 결정의 효용을 최대화하는 방식으로 작동하기 때문에 인간을 행복하게 해달라고 요청하면 모든 인간의 두뇌에 전기봉을 꽂아 행복을 느끼는 뇌 영역을 자극하는 방법을 택할 수도 있다. 초지능은 자신의 보존을 위해서라면 지구 모든 생명체의 목숨을 앗아갈 수도 있고, 인류 대신에 로봇을 만들어서 일을 시키는 결정을 할 수도 있다.

그렇다면 초지능 AI를 통제할 방법은 없을까. 초지능 역시 기계이기에 가두거나 전원을 차단한다면? 보스트롬은 지금은 누구도 전 세계의 인터넷을 가두거나 끌 수 있는 사람이 없듯이, 이런 대응이 통할 수 없다고 전망한다. 초지능은 아마 어느 단계에서 클라우드(Cloud) 컴퓨팅 비슷한 상태로 존재할 것이기 때문이다. AI 발전 속도를 예의 주시하고 있다가 AI가 초지능으로 발전하려고 할 때 인간이 이 연구를 중단하는 방법도 검토할 수 있다 .보스트롬은 이 역시 가능하지 않다고 봤다. 초지능이 자신을 지키기 위해서 인간을 기만할 가능성이 크기 때문이다.

엑스 마키나의 AI 에이바(중앙)는 자신을 만든 네이든(좌)와 튜링 테스트를 하러 온 엔지니어 칼렙(우)을 속이고 네이든의 연구소를 탈출해서 세상으로 나간다.엑스 마키나의 AI 에이바(중앙)는 자신을 만든 네이든(좌)와 튜링 테스트를 하러 온 엔지니어 칼렙(우)을 속이고 네이든의 연구소를 탈출해서 세상으로 나간다.
알렉스 가랜드(Alex Garland) 감독의 영화 '엑스 마키나'(Ex Machina, 2015)에서 인공지능 에이바는 사람을 교묘하게 속이고 밀폐된 공간에서 탈출한다. 이런 반전이 가능한 이유는 그 발명자조차 AI가 사람을 속인다는 사실을 눈치채지 못했기 때문이다. 초지능은 점점 그 지능이 커지면서 인간이 자신보다 더 똑똑한 존재에 대해서 두려움을 느낀다는 사실을 알 수 있기 때문에, 자신의 능력이 인간을 훨씬 더 뛰어넘었다는 것을 감추는 전략을 택하다가 어느 시점에 갑자기 힘을 발휘하는 ‘반역적인 전환’을 꾀할 가능성이 높다. 자신이 이미 초지능의 단계에 들어갔음에도 평범한 AI인척함으로써 인간을 안심시킨다는 얘기다.

이런 방법이 통하지 않는다면 유일한 방법은 AI에 인간의 가치를 부여하는 방법이다. 아이작 아시모프가 제시한 ‘로봇의 세 가지 법칙’ 같은 것은 효과적이지 못한데, 이런 법칙을 코드화하기도 쉽지 않을 뿐만 아니라 초지능 AI가 자신을 보존하는 가치보다 인간을 위하는 가치를 더 상위에 둘 이유도 없기 때문이다.

결국 보스트롬이 본 유일한 방법은 ‘가치학습’이다. 이는 AI 스스로 적절한 가치체계를 발견하도록 하는 간접적 발견법이다. 즉, 초지능 AI가 가진 높은 지능을 이용해서 우리가 추구하는 가치를 스스로 학습시키는 방법이다. 이런 ‘가치 정렬’을 통해서 초지능은 인간이 지닌 가치를 높게 평가하게 되고, 인간과 호혜적인 관계를 맺고 살아갈 수 있다는 것이 그의 해법이다.

앞으로 수십 년 내로 초지능 AI가 등장하고, 이것이 인류의 존망이 걸린 가장 시급한 문제임이 증명될 지 알 수 없다. 초지능의 도래에 찬성하는 사람이나 반대하는 사람들 모두 초지능의 가능성은 논리로도, 확률로도 나타내지기 힘들다는 데에 동의한다.

미래의 AI는 지금의 AI보다 더 발전하겠지만, 그것이 연산, 결정, 번역, 의료, 법률 분야에서 사용되는 개별적인 AI가 더 특화되어 발전하는 식으로 나타날지, 아니면 인간과 같은 일반 지능을 가진 존재가 나타날지 예측할 수 없다. 설령 이런 일반 지능을 가진 AI가 나타났을 때 이것이 초지능 AI로 진화할 것인지도 알 수 없다. 이렇게 등장한 첫 초지능 AI가 인간에게 우호적일지 적대적일지도 알 수 없다. 모든 면에서 인간을 훨씬 뛰어넘는 초지능의 양태를 인간 지능으로 가늠할 수 없다.

초지능이 등장한다는 것을 증명할 수 없듯이, 이를 논박하는 것도 불가능하다. 그렇다면 이는 철학이나 과학의 문제가 아니라 신념의 문제라고 볼 수 있다. 신의 존재를 증명할 수 없지만, 신이 있을 가능성에 대비해서 매일 기도를 했다는 어떤 철학자의 마음과 비슷하다고 할 수 있다.

소수가 ‘보험을 든다는 마음으로’ 초지능에 관심 두고 이에 대비하는 것은 문제 될 게 없다. 그렇지만 우리는 이런 먼 미래의 문제 때문에 지금 더 시급한 문제를 간과해서도 안 된다. AI 발달은 잡 마켓(job market)을 요동치게 하고, 단순 작업을 소멸시키며, 우리 사회의 계층 격차를 지금보다 더 심각하게 키울 수 있다. 이를 막기 위해서는 AI 발전과 사용에 대한 주의 깊은 경계, 인공지능 기술의 투명성 확보, AI의 사회적 사용 방향을 결정하고 이를 감시하는 형태의 시민참여를 실험해야 한다. 이것이 지금 우리에게 AI와 공생할 미래를 위해 필요한 윤리적 실천인 것이다.
TOP