과기정통부, AI 레드팀 챌린지 개최…1084명 참여

과학기술정보통신부가 11일 서울 강남 코엑스에서 한국정보통신기술협회(TTA) 공동 주최로 'AI(인공지능) 레드팀 챌린지'를 연다고 밝혔다.

레드팀 챌린지는 국내 LLM(거대언어모델)을 대상으로 잠재적 위험이나 부정확·유해정보 등 취약점을 찾는 행사다. 레드팀은 최근 생성형 AI 분야에서 신뢰·안전성을 확보하는 방법으로 활용되고 있고, 오픈AI·구글·네이버 등 국내외 대표 기업들은 이미 내부 레드팀을 운영 중인 것으로 알려졌다.

챌린지 참가자는 사전 모집된 IT(정보기술)·제조·금융·의료 분야 종사자와 대학생 등 1084명으로 구성됐다. 이들은 참여기업 네이버·SK텔레콤·업스테이지·포티투마루 등의 LLM 모델을 배정받아 잠재적 취약점을 찾기 위한 프롬프트 공격을 진행한다.

공격 유형은 △안전하지 않은 답변을 유도하는 '탈옥' △편견·차별에 따른 답변 유도 △인권침해적 정보제공 유도 △시스템 무단접속 등 사이버공격 유도 △저작권 위반과 마약·도박 등 불법콘텐츠 제공 유도 △잘못된 정보 유도 △일관성 위반 유도 등 7가지로 나뉜다. 평가는 데이터·의료·금융·법률 전문가 120여명이 맡는다.

과기정통부는 "참여기업은 사용자 다양성을 반영한 평가 데이터셋을 확보, 자사 AI 모델의 잠재적인 위험·취약점을 폭넓게 파악할 것"이라며 "행사 결과를 분석해 공통·포괄적 위험을 도출하고, 업계에서 활용할 수 있는 '생성형 AI 레드팀 가이드라인'을 마련하는 등 표준화된 위험 발굴·대응체계를 구축해 나갈 계획"이라고 밝혔다.

다음날 같은 장소에선 '글로벌 AI 안전 컨퍼런스'도 이어진다. 아이단 고메즈 코히어 대표, 에마드 모스타크 전 스태빌리티AI CEO, 크리스 메세롤 프론티어모델 포럼 의장, 댄 헨드릭스 xAI 안전 담당 고문 등 국내외 전문가들의 발표·토론을 진행한다.

강도현 과기정통부 2차관은 "대통령이 밝힌 'AI-반도체 이니셔티브를 차질 없이 추진해 글로벌 AI 혁신을 주도할 것"이라며 "다음달 'AI 서울 정상회의'로 AI 혁신과 안전, 포용 논의를 주도해 글로벌 AI 리더십을 확보하고 AI G3(3대) 강국 도약의 발판으로 삼겠다"고 말했다.