“초지능 기계는 가장 똑똑한 사람들의 모든 지적 능력을 훨씬 초월하는 기계로 정의된다. 기계를 만드는 능력이 인간의 능력 중 하나이기 때문에, 초지능 기계는 더 뛰어난 기계들을 만들 수 있다. 그러면 의심의 여지 없이 지능의 폭발 같은 것이 있을 것이며, 인간의 지능은 한참 뒤처지게 될 것이다. 따라서 만약에 이 초지능 기계가 자신을 어떻게 통제하라는 것을 인간에게 말해 줄 정도로 온순한 것이라면, 이 첫 번째 초지능 기계는 인간의 마지막 발명이 될 것이다.”
어빙 존 굿(Irving John Good, 1916-2009)
초지능 기계는 자기보다 더 우월한 초지능 기계를 만들 수 있고, 이 기계는 또 자기보다 더 뛰어난 기계를 만들 수 있다. 이렇게 해서 순식간에 ‘지능의 폭발’이 생겨난다. 인간은 할 일이 없어진다. 인간이 개미를 내려다보듯이, 초지능 기계는 인간을 내려다보면서 인간에 대해서 생각을 할 것이다.
비록 인간이 자신을 만들었지만, 인간의 존재가 자기에게 무슨 도움이 될까? 노동력이 필요하다면 인간 대신에 로봇을 만들어 사용하면 되지 않을까? 굿은 미래를 상상하면서, 인류의 존망은 인간이 만든 첫 초지능 기계가 인간에게 우호적인지 적대적인지에 달려있다고 봤다.
그림 스탠리 큐브릭 감독의 '2001 스페이스 오디세이'에 나온 AI 컴퓨터 HAL. “미안해요 데이브, 나는 할 수 없어요”라며 인간 명령을 거부하는 장면으로 유명하다.
그런데 최근 몇 년 사이에는 영화나 소설이 아니라 빌 게이츠, 스티븐 호킹, 엘론 머스크 같은 유명 인사들이 미래에 인공지능(AI)이 인류의 위협이 될 수 있음을 역설하곤 했다. 일례로, 엘론 머스크는 AI가 원자탄보다도 더 위험한 존재라면서 이 위험을 줄이기 위해서 사재를 출연, '오픈AI'라는 연구소를 설립했다. 이들이 목소리를 높인 이유는 옥스퍼드 대학교의 철학자 닉 보스트롬(Nick Bostrom)이 저술한 '초지능 – 경로, 위험, 전략'(2014)이란 책을 읽어보면 알 수 있다.
그림3. 닉 보스트롬
이런 초지능은 자신의 뛰어난 지능을 사용해서 지능 증폭, 전략 수립, 사회적 조정, 해킹, 기술 연구를 수행할 것이며, 합법적, 비합법적 금융망을 장학해서 순식간에 엄청난 경제적 생산력과 부를 축적하고, 이를 미끼로 자신을 지지하는 인간들을 포섭할 것이다.
그림4. 보스트롬의 <초지능>
초지능은 모든 결정의 효용을 최대화하는 방식으로 작동하기 때문에 인간을 행복하게 해달라고 요청하면 모든 인간의 두뇌에 전기봉을 꽂아 행복을 느끼는 뇌 영역을 자극하는 방법을 택할 수도 있다. 초지능은 자신의 보존을 위해서라면 지구 모든 생명체의 목숨을 앗아갈 수도 있고, 인류 대신에 로봇을 만들어서 일을 시키는 결정을 할 수도 있다.
그렇다면 초지능 AI를 통제할 방법은 없을까. 초지능 역시 기계이기에 가두거나 전원을 차단한다면? 보스트롬은 지금은 누구도 전 세계의 인터넷을 가두거나 끌 수 있는 사람이 없듯이, 이런 대응이 통할 수 없다고 전망한다. 초지능은 아마 어느 단계에서 클라우드(Cloud) 컴퓨팅 비슷한 상태로 존재할 것이기 때문이다. AI 발전 속도를 예의 주시하고 있다가 AI가 초지능으로 발전하려고 할 때 인간이 이 연구를 중단하는 방법도 검토할 수 있다 .보스트롬은 이 역시 가능하지 않다고 봤다. 초지능이 자신을 지키기 위해서 인간을 기만할 가능성이 크기 때문이다.
엑스 마키나의 AI 에이바(중앙)는 자신을 만든 네이든(좌)와 튜링 테스트를 하러 온 엔지니어 칼렙(우)을 속이고 네이든의 연구소를 탈출해서 세상으로 나간다.
이런 방법이 통하지 않는다면 유일한 방법은 AI에 인간의 가치를 부여하는 방법이다. 아이작 아시모프가 제시한 ‘로봇의 세 가지 법칙’ 같은 것은 효과적이지 못한데, 이런 법칙을 코드화하기도 쉽지 않을 뿐만 아니라 초지능 AI가 자신을 보존하는 가치보다 인간을 위하는 가치를 더 상위에 둘 이유도 없기 때문이다.
결국 보스트롬이 본 유일한 방법은 ‘가치학습’이다. 이는 AI 스스로 적절한 가치체계를 발견하도록 하는 간접적 발견법이다. 즉, 초지능 AI가 가진 높은 지능을 이용해서 우리가 추구하는 가치를 스스로 학습시키는 방법이다. 이런 ‘가치 정렬’을 통해서 초지능은 인간이 지닌 가치를 높게 평가하게 되고, 인간과 호혜적인 관계를 맺고 살아갈 수 있다는 것이 그의 해법이다.
앞으로 수십 년 내로 초지능 AI가 등장하고, 이것이 인류의 존망이 걸린 가장 시급한 문제임이 증명될 지 알 수 없다. 초지능의 도래에 찬성하는 사람이나 반대하는 사람들 모두 초지능의 가능성은 논리로도, 확률로도 나타내지기 힘들다는 데에 동의한다.
미래의 AI는 지금의 AI보다 더 발전하겠지만, 그것이 연산, 결정, 번역, 의료, 법률 분야에서 사용되는 개별적인 AI가 더 특화되어 발전하는 식으로 나타날지, 아니면 인간과 같은 일반 지능을 가진 존재가 나타날지 예측할 수 없다. 설령 이런 일반 지능을 가진 AI가 나타났을 때 이것이 초지능 AI로 진화할 것인지도 알 수 없다. 이렇게 등장한 첫 초지능 AI가 인간에게 우호적일지 적대적일지도 알 수 없다. 모든 면에서 인간을 훨씬 뛰어넘는 초지능의 양태를 인간 지능으로 가늠할 수 없다.
초지능이 등장한다는 것을 증명할 수 없듯이, 이를 논박하는 것도 불가능하다. 그렇다면 이는 철학이나 과학의 문제가 아니라 신념의 문제라고 볼 수 있다. 신의 존재를 증명할 수 없지만, 신이 있을 가능성에 대비해서 매일 기도를 했다는 어떤 철학자의 마음과 비슷하다고 할 수 있다.
소수가 ‘보험을 든다는 마음으로’ 초지능에 관심 두고 이에 대비하는 것은 문제 될 게 없다. 그렇지만 우리는 이런 먼 미래의 문제 때문에 지금 더 시급한 문제를 간과해서도 안 된다. AI 발달은 잡 마켓(job market)을 요동치게 하고, 단순 작업을 소멸시키며, 우리 사회의 계층 격차를 지금보다 더 심각하게 키울 수 있다. 이를 막기 위해서는 AI 발전과 사용에 대한 주의 깊은 경계, 인공지능 기술의 투명성 확보, AI의 사회적 사용 방향을 결정하고 이를 감시하는 형태의 시민참여를 실험해야 한다. 이것이 지금 우리에게 AI와 공생할 미래를 위해 필요한 윤리적 실천인 것이다.