업계에서 주로 사용하는 AI 모델 경량화 기법은 주로 '가지치기(Pruning)'와 '양자화(Quantization)' 방식이다. 가지치기는 주로 사용되는 연산에서 중요하지 않은 매개변수를 찾아 제거하는 방식으로 AI 모델을 경량화한다. 양자화는 일종의 반올림처럼 매개변수의 비트를 바꿔 데이터 처리 방식을 경량화하는 기법이다. 그밖에 서로 다른 AI 모델의 데이터를 효과적으로 전달하는 '지식 증류(knowledge distillation)'나 '경량 네트워크 디자인' 등 기법도 사용된다.
오픈AI, 구글, 네이버 등 AI를 개발하는 글로벌 빅테크 기업들은 이미 경량화 기술 개발에 집중하고 있다. 최근에는 AI 모델을 전문적으로 경량화해주는 솔루션 스타트업들도 등장했다. 네이버, 카카오, 삼성전자 등 대기업들의 기업형 벤처캐피탈(CVC)들은 일찌감치 기술력과 성장 잠재력을 보고 이들에게 뭉칫돈을 투자했다.
가지치기와 양자화의 개괄적 원리 /사진=엔비디아, 텐서플로우 기술블로그이 시각 인기 뉴스
노타는 다양한 디바이스(기기)의 AI 모델을 경량화해줄 수 있다는 점을 강점으로 내세운다. 채명수 노타 대표는 "경량화 기술은 AI 모델을 적용할 기기가 서버인지, 스마트폰인지, 자율주행차인지, 혹은 어떤 사양인지에 따라 다르게 적용해야 한다"며 "노타는 다양한 하드웨어에서 최적화된 경량화를 제공한다"고 했다. 노타는 고객에 따라 양자화와 가지치기 방식을 모두 사용한다.
노타의 기술력은 글로벌 시장에서도 인정받고 있다. 글로벌 시장조사기관 CB인사이트는 지난해 LLMOps(초거대언어 AI 모델운영) 분야 선두기업 조사에서 노타를 'AI 최적화' 부문 대표기업 4곳 중 1곳으로 선정했다. 2022년부터 3년 연속 엔비디아의 개발자 컨퍼런스 GTC 발표기업으로 선정되기도 했다.
스퀴즈비츠의 경량화 솔루션은 '양자화' 방식에 집중하고 있는 것이 특징이다. 김형준 스퀴즈비츠 대표는 "기업들마다 집중하고 있는 세부 기술이 조금씩 다르다"며 "스퀴즈비츠는 양자화로 더 효율적인 경량화가 가능한 분야에서 강점을 가지고 있다"고 말했다.
스퀴즈비츠의 기술력도 상당하다는 평가다. 스퀴즈비츠는 포스텍 NPU 연구팀이 주축이 돼 설립한 스타트업이다. 창업자들이 머신러닝 분야 학회에서 발표한 경량화 관련 논문만 70여편에 달한다. 김재준 서울대학교 전기·정보공학부 교수, 박은혁 포스텍 컴퓨터공학과 교수 등 국내외에서 인정받는 교수진들과도 협업하고 있다.
국내 대표적인 AI 경량화 스타트업/그래픽=조수아두 기업에 투자한 CVC들은 SI(전략적 투자)성격의 투자는 아니라면서도 모기업과의 협업 가능성은 열려 있다고 했다. 실제 해외에서는 경량화 솔루션 스타트업인 옴니ML이 창업 2년만에 엔비디아에 인수되는 등 빅테크 기업과의 적극적인 협업이 이뤄지고 있다.
투자업계에 따르면 AI모델 경량화 기술에 한정해서는 시장조사기관에서도 아직 공식적으로 시장을 집계하지 않았다. 다만 생성AI가 확산되고 시장이 커질수록 경량화 시장도 커질 수밖에 없다는 게 투자자들의 판단이다. 해외에서도 뉴럴매직, 오토AI(OctoAI), 데씨이AI(DeciAI) 등 스타트업들이 가파르게 성장하고 있다.
특히 최근 불고 있는 온디바이스AI 열풍도 경량화 스타트업이 주목받는 이유다. 온디바이스AI는 더 낮은 하드웨어 스팩, 전력 환경에서 작동되는 만큼 이를 각종 디바이스에서 제대로 구동시키기 위해서는 다양한 경량화 기술 도입이 필수적이기 때문이다.
투자업계 관계자는 "AI 모델은 규모가 커질 수록 성능이 좋다는 게 검증된 명제"라며 "더 큰 AI 모델을 효율적이고 저렴하게 사용할 수 있게 해주는 기술과 시장은 지속적으로 성장할 수밖에 없을 것"이라고 말했다.
[머니투데이 스타트업 미디어 플랫폼 유니콘팩토리]
