박진혁 순천향대 교수팀, 국내 의료 면허 시험에 ChatGPT 적용

박진혁 순천향대 작업치료학과 교수./사진제공=순천향대

순천향대학교는 최근 박진혁 작업치료학과 교수가 이시안 ICT융합학과 석사과정, 허서윤 경복대 작업치료학과 교수와 함께 한국 작업치료사면허 시험에 ChatGPT3.5를 적용했다고 13일 밝혔다.

거대언어모델(Large Language Model)은 인간 언어를 이해하고 생성하도록 훈련된 인공지능을 통칭한다. 대표 모델로 ChatGPT가 있다. ChatGPT는 딥러닝 알고리즘과 통계 모델을 통해 자연어를 처리한다.

ChatGPT는 최근 다양한 면허 시험에 활용되고 있다. 특히 생의학 및 임상 과학에 대한 폭넓은 이해를 요구하는 미국 의사면허 시험(United States Medical Licensing Examination)에서 90% 이상의 높은 점수를 기록했다. AI 학습교구가 의학 개념을 이해하고 적용하는데 유의미한 역할을 맡을 수 있게 된 것이다.

이처럼 거대언어모델을 의료분야에서 활용하는 방안에 대한 연구가 활발히 진행되고 있지만, 국내 의료계는 ChatGPT의 활용에 보수적이었다.

이에 박 교수팀은 한국보건의료인국가시험원(이하 국시원)이 공개한 최근 5개년도 한국 작업치료사면허 시험 문항을 ChatGPT3.5로 풀어봤다. 시험 문항을 한글 그대로 입력해 ChatGPT3.5가 풀어낸 답을 국시원에서 공개한 정답과 비교했다.

그 결과 면허 시험 합격 기준인 60%는 달성하지 못했지만, 문화권에 영향을 받는 의료법규 관련 문항을 제외한 전공 지식 관련 문항에 대해서는 합격권을 넘는 정확도를 보였다. 3명의 평가자가 기록한 ChatGPT의 정답 일치도도 높았다.

박 교수는 "거대언어모델의 학습 데이터는 대부분 영어 중심 문화권에 기초하고 있다. 따라서 국내 작업치료사면허 시험에 적용하는 것은 제약이 있지만 문화권에 영향을 받지 않는 전공 지식의 경우 충분히 높은 정확도와 신뢰도를 보여줬다"며 "작업치료를 전공하는 학생도 ChatGPT를 학습 도구로 활용할 수 있을 것"이라고 설명했다.

한편 이번 연구결과는 '한국 작업치료사면허 시험에서의 ChatGPT의 성능'(Performance of ChatGPT on the National Korean Occupational Therapy Licensing Examination)이라는 제목으로 국제학술지 '디지털 헬스'(Digital Health, IF=3.9, Health Policy & Service 분야 Q1)에 게재됐다.