챗GPT의 등장 이후 각광 받는 초거대 AI 분야에서 '학습' 영역은 단기간 집중적으로 대용량·고사양의 그래픽처리장치(GPU)를 필요로 한다. 이후 '추론' 영역은 적은 양의 GPU를 끊김 없이 상시 사용해야 하는 특성을 갖고 있다.
프렌들리AI 관계자는 "누구나 쉽게 낮은 비용과 빠른 속도로 라마2, 스테이블 디퓨전, 미스트랄 등 인기 있는 생성 AI 모델을 자사 서비스에 통합해 텍스트 생성, 이미지 생성 등을 활용할 수 있다"고 했다.
새롭게 내놓은 서버리스 엔드포인트 서비스는 오픈소스 프레임워크를 쓰는 다른 솔루션 대비 최대 4배 빠른 시간에 응답을 생성하고, 최적화된 서빙 엔진은 기존 솔루션에 비해 서빙에 필요한 GPU 수를 최대 7분의 1 수준으로 줄인다는 설명이다.
이 시각 인기 뉴스
전병곤 프렌들리AI 대표는 "생성 AI의 미래는 해당 기술에 누구나 쉽게 접근해서 사용할 수 있도록 하는 것에 있다"며 "오픈소스 생성 AI 모델을 더 빠르고 저렴하게 제공하기 위해 새로운 서비스를 개발했다"고 말했다.
[머니투데이 스타트업 미디어 플랫폼 '유니콘팩토리']