부자학생에 '고학점' 주는 AI…전문가들 "인권영향평가 도입해야"

국가인권위원회 '지능정보사회 정보인권 현황과 쟁점 토론회'

2020년 12월 출시된 스캐터랩의 인공지능(AI) 챗봇 '이루다'. /사진=머니투데이DB

#2020년 영국 일부 자치정부 지역 고교의 졸업반 학생 약 30만명은 코로나19(COVID-19) 여파로 졸업시험을 치를 수 없었다. 영국 정부는 인공지능(AI) 시스템을 통해 학생들에게 학점을 부여했다. 문제는 공립학교 학생들과 사립학교에 다니는 부유층 학생들 간 학점이 큰 차이를 보였다는 점이다. 점수를 매긴 AI가 소속 학교의 학업능력을 평가 항목에 포함했기 때문이다.

AI 기술 발전과 활용 영역이 넓어지며 편의성이 개선된 반면 인권 침해 등 부작용 사례도 늘어나고 있다. 이에 31일 열린 국가인권위원회(인권위) '지능정보사회 정보인권 현황과 쟁점 토론회'에서 유승익 한동대 연구교수는 "AI는 데이터는 집약적으로 활용하고 지식을 창출하는 방식이 기존 기술과는 전혀 달라 잠재적·현실적인 위험성이 많다"며 AI 인권영향평가 도입을 강조했다.

AI 인권영향평가는 현재 영국, 캐나다, 유럽연합(EU) 등 여러 국가에서 제안·도입 중이다. 국내에서도 2019년 KT AI 스피커 '기가지니'의 성차별, 2020년 AI 챗봇 '이루다'의 혐오 발언 등 인권 침해 사례가 이어지며 관련 제도가 필요하다는 목소리가 크다. 인권위는 지난 5월 'AI 개발과 활용에 관한 인권 가이드라인'을 마련, AI 인권영향평가 시행 내용을 포함하기도 했다.

인권영향평가 접근 방식은 크게 '위험 기반'과 '인권 기반' 두 가지로 나뉜다. 캐나다나 EU 등이 채택하는 위험 기반 접근은 식별된 위험 수준에 따라 요구사항에 차등을 두는 방식이다. 위험 기반 접근의 영향평가는 주로 고위험 규제에 초점을 둔다. 캐나다의 경우 2019년 정부 훈령으로 공공기관 AI 영향평가를 법규화해 실시 중이기도 하다.

인권 기반 접근 방식을 적용 중인 덴마크는 △계획 및 범위 설정 △데이터 수집 및 맥락 분석 △영향 분석 △영향 예방·완화 및 구제 △보고 및 평가 까지 총 5단계로 구분한다. 디지털 사업 유형과 평가 결과 활용처 정보를 고려한 정의를 명확히 한 뒤, 국제인권기준 등 데이터를 활용해 AI의 긍정적·부정적 영향 수준을 평가한다.

다만, 유 교수는 "두 접근 방식은 이분법적으로 분리될 수는 없다"며 "덴마크의 경우 인권 기반으로 접근하면서도 영향의 심각도를 측정하는 등 위험 기반 접근도 포함하고 있다. 인권 기반과 위험 기반 접근은 상호보완적인 관계"라고 설명했다.

(왼쪽부터) 장여경 정보인권연구소 이사, 김기중 변호사(법무법인 동서양재), 유승익 한동대학교 글로벌 입법전문 법학후속세대양성사업팀 연구교수, 김슬 NEZ 대표. /사진=홍효진 기자

이날 토론회에서는 인권영향평가 실효성에 대한 지적도 제기됐다. 김슬 NEZ 대표는 "인권영향평가는 많은 이들이 동의하는 보편적 가치를 갖고 있고 굉장히 좋은 시작점이 될 것"이라면서도 "실용적으로 사용되기에는 다른 보편적인 고수준의 가이드라인과 비슷하다는 한계가 있다. 제한적이지만 바로 적용할 수 있는 기술적 측면이 보완돼야 한다"고 말했다.


장여경 정보인권연구소 이사는 "UN인권최고대표에서 AI 시스템의 불투명성이 정부와 민간 행위자들의 의도적인 비밀주의에서도 기인하다고 언급한 만큼 투명성 증진이 중요하다"며 "영국은 경쟁시장 감독기관(CMA), 방송통신 규제기구(Ofcom), 개인정보보호 감독기관(ICO), 금융감독기관(FCA) 4개 기관이 함께 알고리즘 감사 관련 보고서를 발간했다. 다양한 AI 평가 방안을 비교하면서 책무성을 확보해야 한다"고 강조했다.

유 교수는 "규제 밀도를 어떻게 할 것인가에 대한 고민이 필요하고, 인권영향평가가 형식에 머무르지 않고 실효적으로 안착될 수 있도록 해야 한다"며 "영향평가 자체에 대한 거버넌스 구성 등에 대해서는 각국 인권기구들의 역할이 중요할 것"이라고 말했다.