루닛 INSIGHT CXR /사진=루닛
이번 연구는 서울대학교병원에서 2015년 12월부터 2021년 2월까지 흉부 엑스레이를 촬영한 환자 가운데 후향적으로 선별한 120명을 대상으로, 다양한 전문성을 가진 영상의학과 의사 30명이 참여해 진행됐다.
연구를 위해 A그룹은 흉부 엑스레이 AI 영상분석 솔루션 '루닛 인사이트 CXR'의 고성능 알고리즘을 사용했고, B그룹은 전체 학습 데이터의 10%만 학습한 상대적으로 저성능 알고리즘을 사용했다.
반면 B그룹 판독의들은 1·2차 판독 모두 0.75을 기록하며 수치상 변화가 없었다. 통상적으로 AUROC 수치가 1에 가까울수록 성능이 뛰어나며, 0.8 이상인 경우 고성능 모델로 평가된다.
이와 함께 연구에서는 판독의의 1차 단독 판독 결과와 2차 판독 시 AI의 결과가 서로 엇갈릴 경우, AI가 제안한 결과에 따라 판정을 수정한 비율을 측정했다. 연구 결과, 1차에서 판독의가 독자적으로 판독한 결과와 상충되는 AI 결과가 2차에서 제시되는 경우에 해당 제안을 받아들여 최종 판독을 뒤집은 경우는 A그룹 67%, B그룹 59%로, 고성능 알고리즘을 사용한 집단에서 인공지능에 대한 수용성이 더 높았다.
이 시각 인기 뉴스
박창민 서울대학교병원 영상의학과 교수는 "특히 이번 연구에서는 AI를 사용한 2차 판독의 정확도에 영향을 미치는 요인을 분석하기 위해 판독의들의 경력기간, AI에 대한 인식, AI 사용 및 연구경험 유무 등을 사전에 조사했다"며 "그 결과 개별 판독의의 1차 진단 정확도와 AI 자체의 정확도 만이 AI를 사용해 2차 판독한 의료진의 정확도에 유의미한 영향을 미쳤을 뿐, 판독의 고유의 경험과 성향은 무관한 것으로 나타났다"고 설명했다.
서범석 루닛 대표는 "이번 연구는 개별 의료진의 특성과 무관하게, 성능이 높은 AI를 활용해야만 판독 개선 효과와 함께 AI에 대한 의료진의 수용성이 높아진다는 것을 확인한 연구"라며 "앞으로도 루닛은 의료진의 판독 정확도를 높이고, 환자들에게 보다 정확한 정보를 제공할 수 있도록 AI 성능 향상에 매진하겠다"고 말했다.