청각장애인, 소리를 ‘손’으로 듣는다?

ETRI, 청각장애인용 ‘촉각 피치 시스템’ 개발 …장갑 끼고 손가락 위치별 진동 느껴 음 높낮이 파악

ETRI 신승용 선임연구원이 소리를 내면서 주파수에 따라 음정이 손 부위별로 진동이 전해지는 모습을 시연하는 모습/사진=ETRI

국내 연구진이 청각장애인을 위해 촉각으로 소리 인식이 가능한 기술을 개발했다.

한국전자통신연구원(ETRI)은 주위 소리와 자신 목소리의 음높이를 분석해 촉각 패턴으로 변환해주는 ‘촉각 피치 시스템’을 개발했다고 19일 밝혔다.

촉각 피치 시스템은 음악이나 소리 등 청각 정보로부터 소리 주파수 신호를 뽑아내 음을 인식한 뒤, 촉각 패턴으로 만들어 착용자의 피부에 전달하는 사용자 인터페이스(UI) 기술이다. 이 기술을 활용하면 주변 소리나 자신의 목소리에서 나오는 음높이를 피부로 느낄 수 있다.

ETRI 연구진이 개발한 학습 소프트웨어와 연동된 촉각 피치 시스템의 장갑형 버전과 밴드형 버전/사진=ETRI

연구진이 고안한 방법은 이렇다. 주변에서 4옥타브 계이름 ‘도’ 소리가 들리면 사용자가 왼손에 낀 장갑을 통해 검지 첫째 마디에 진동이 느껴지도록 하는 방식이다. 연구진은 손의 구조와 인지 용이성을 설계에 반영, 한 손에 3옥타브 ‘도’에서 5옥타브‘시’까지 36개 음계를 촉각 패턴으로 표현했다.

손 부위별 진동 위치에 따라 음의 높낮이를 파악할 수 있지만, 주변 소리와 내 목소리의 높낮이를 촉각으로 익히는 훈련이 한 달 가량 필요하다. 나아가 함께 개발된 학습 방법 및 훈련 과정을 거치면 자신의 목소리를 원하는 음에 맞춰 낼 수도 있다. 이는 청각장애인 뿐 아니라 고령인 등도 언어 및 음향 학습 보조수단으로 활용할 수 있다.

ETRI 연구진이 개발중인 촉각 피치 시스템의 다양한 웨어러블 시제품 (손목밴드, 암밴드, 장갑)/사진=ETRI

연구진은 촉각 피치 시스템의 효과를 관찰하기 위해 강남대학교와 위탁연구를 수행했다. 임상연구에는 인공와우 수술을 받은 청각장애인 2명이 참여했다. 참가자들은 약 한 달간 15시간 훈련을 통해 촉각을 이용, 음을 이해하고 자신의 목소리로 원하는 음을 낼 수 있는 능력이 약 3배 향상됐다. 또 촉각으로 훈련한 노래를 정확한 음으로 낼 수 있게 됐다.

연구진은 향후 더욱 쉽게 훈련을 진행하고 편한 착용이 이뤄질 수 있도록 손목보호대(암밴드) 등 웨어러블 형태로 장비를 개발할 계획이다. 또 화재 알람이나 교통 신호 등 위험 상황을 알리는 소리를 어느 방향, 위치에서 발생했는지 파악해 웨어러블 기기 등을 통해 촉각으로 전달하는 기술을 개발 중이며 청각장애인 대상 필드 테스트를 준비 중이다.

연구책임자인 ETRI 신형철 휴먼증강연구실장은 “기술을 위한 기술이 아닌 우리 사회 소수자들이 정말로 필요로 하는 적정(適正) 기술을 개발하기 위해 노력했다”며 “이 기술이 실질적으로 여러 사람들을 도울 수 있는 따뜻한 복지 ICT로 많이 활용되었으면 한다”고 말했다.

ETRI 연구진이 개발한 촉각 피치 시스템의 장갑형 버전과 밴드형 버전 장비 모습/사진=ETRI