외신에 따르면 이같은 허위신고는 AI(인공지능)가 합성음성을 사용해 경찰특공대(SWAT) 출동, 소위 '스와팅'(Swatting)을 유도하는 텔레그램 채널 '토르스와트'(Torswat)에 의해 이뤄졌다.
지난해 미국 학교, 정치인 거주지, 법원, 종교단체 등에 폭탄이 설치됐다거나 총기난사가 이뤄지고 있다는 등의 허위 신고 수백 건은 토르스와트에 의해 발생한 것으로 알려졌다. 토르스와트는 '응급 의료출동'이나 '화재 및 가스누출' 관련 출동을 유도하는 허위신고에는 40달러를 청구했고 '대규모 경찰 대응'에는 50달러, '폭탄위협이나 대량 총기난사' 등 경찰특공대 출동신고엔 75달러를 청구했다.
이 때문에 긴급한 상황이나 범죄, 총격사건, 납치 등 강력범죄에 대한 허위신고가 남발됐고 집주인이 무장경찰의 총격을 받을 위험에 처하는 등 스와팅 사건이 급증했다. 수 개월의 수사 끝에 토르스와트 운영자가 잡혔다. 미국 캘리포니아에 거주하는 17세 청소년이 운영자였다. 그는 TTS(문자-음성변환) 프로그램으로 음성을 위조하고 ID '스푸핑'(Spoofing·눈속임)을 통해 자신의 위치를 숨긴 것으로 조사됐다.
━
AI의 진화, 범죄의 진화━
AI모델 자체가 악의적으로 설계된 것들이 있다. '울프GPT' '다크바드' '사기GPT'(Fraud GPT) '웜GPT' 등의 이름을 단 것들이 대표적이다. 챗GPT나 바드(Bard) 라마(Llama) 등 오픈AI, 구글, 메타 등 빅테크(대형 IT기업)들이 만든 AI모델을 변용·조작해 악의적인 목적에 활용할 수 있도록 한 모델들이라는 공통점이 있다. 이같은 악의적 AI모델들은 이용자들의 개인정보를 탈취하거나 악성코드를 배포하기 위한 가짜 웹사이트 등을 만드는 데 쓰인다.
생성형 AI가 소개된 지 얼마 되지 않았음에도 수많은 악용 사례가 터져나왔다. 딥페이크 동영상과 음성으로 기업 재무책임자를 속여 막대한 금액을 탈취한 사건이나 선거국면에 딥페이크 허위뉴스로 선거결과를 뒤흔든 사건 등이 주로 꼽힌다. 챗봇 속 가상인물과의 감정적 유대감이 깊어진 탓에 스스로 세상을 등지는 극단적 선택을 한 사례도 있었다. AI로 성착취물을 만들어 유통하는 디지털성범죄도 있다. 선생님이나 친구 등 지인의 사진을 음란물에 합성해 모욕감을 불러일으키는 '지인능욕' 등이다.
인터넷이 성착취에 활용될 가능성을 최소화하기 위해 만들어진 영국 비영리기구 인터넷감시재단(IWF)은 지난해 10월 보고서를 발표했다. 한 달 동안 '어둠의 인터넷'으로 불리는 다크웹에서 공유된 1만1000여개 이미지를 조사했고 이 중 2500개 이상이 아동에 대한 성적 학대를 묘사한 것으로 나타났다. 앞서 미국의 실종및착취아동보호센터(NCMEC) 역시 지난해에만 4700건에 이르는 아동 성착취 묘사 콘텐츠 신고를 접수했다고 밝혔다.
호주에서도 AI가 생성한 아동 성착취물을 유통한 혐의를 받는 48세 남성이 유죄로 인정받는 사건이 있었다. AI기술의 발달로 누구든 손쉽게 AI로 딥페이크 영상, 이미지를 만들 수 있게 되면서 발생한 새로운 유형의 범죄라는 데 공통점이 있다.
━
생성AI 활용 증가세, 청소년 우려 점증━
경찰청에 따르면 국내에서 AI 딥페이크와 관련한 신고건수는 2021년 156건, 2022년 160건, 2023년 180건이다. 영국 IWF나 미국 NCMEC에 접수된 신고건수 등에 비해 훨씬 적은 수준이다.
그러나 안심하기는 이르다. 이미 수많은 청소년이 사이버폭력과 디지털범죄에 노출됐고 디지털 성착취물을 경험한 이가 많다는 조사결과도 있어서다. 방송통신위원회와 한국지능정보사회진흥원(NIA)가 지난해 9~11월 1만6868명을 대상으로 진행한 조사에 따르면 청소년의 40.8%가 '사이버폭력을 경험했다'고 답했다.
방통위는 이번 실태조사 결과를 바탕으로 추후 사이버폭력 예방교육의 대상과 주제를 확대한다는 방침이다. 언어폭력이나 명예훼손 등 전통적 의미의 사이버폭력에 국한하지 않고 디지털 혐오표현이나 가짜뉴스 등 딥페이크 관련 우려 사항과 올바른 정보판별 방법 등으로 교육주제를 확대하겠다는 것이다.
[저작권자 @머니투데이, 무단전재 및 재배포 금지]