[IT 소식] 쿼리에 맞춰 실시간으로 LLM 골라 주는 '모델 라우팅' 등장

'ML옵스'와 다른 개념...모델 분석이 핵심

(사진=셔터스톡)

기업의 작업 요청(쿼리)에 맞춰 다수의 대형언어모델(LLM) 중 하나를 실시간으로 골라서 연결해 주는 '모델 라우팅(Model  routing)' 전문 스타트업이 미국에 다수 등장한 것으로 알려졌다. 저비용 고효율을 추구하는 기업 수요에 따른 것으로, LLM이 늘어남에 따라 이를 분석해 주는 작업이 점차 중요해진다는 평가다.

디 인포메이션은 지난 19일(현지시간)  모델 선택 및 라우팅 스타트업이 최근 급속하게 늘어나고 있다며, 이는 기업들이 AI 수요에 얼마나 빠르게 반응하는 지를 보여주는 사례라고 소개했다.

이에 따르면 AI를 도입하는 기업은 'GPT-4'와 같은 최고급 모델을 선호하지만, 이는 비용이 많이 들어간다. 따라서 상당수 기업은 작업 성격에 맞춰 때로는 간단한 오픈 소스 모델을 선호하기도 한다. 

한 모델을 도입해 기업 수요에 맞춰 미세조정하는 'ML옵스(MLOps)'와는 다른 개념이다.

예를 들어 복잡한 추론 작업에는 GPT-4를 사용하고, 간단한 문서 요약은 오픈 소스 모델로 처리하는 식이다. 

이를 가능하게 하는 것이 바로 모델 라우팅이다. 애플리케이션 프로그래밍 인터페이스를 통해 기업의 쿼리를 분류, GPT-4 또는 오픈 소스로 배분하는 방식이다. 이 때문에 네트워크 최적 경로를 선택하는 '라우팅'이라는 용어를 도입했다.

또 오픈 소스 모델의 경우 허깅페이스에만도 30만개 이상이 존재한다. 따라서 어떤 모델이 어떤 특성과 성능을 가졌는지를 평가하는 것이 가장 중요한 포인트로 꼽힌다.

실리콘밸리에는 현재 모델 라우팅 서비스에 나선 스타트업이 다수 존재하는 것으로 알려졌다. 한 관계자에 따르면 지난주에도 4~5업체가 프리젠테이션을 위해 미팅을 요청했다고 알렸다.

그중 하나인 마션(Martian)이라는 샌프란시스코 스타트업은 다양한 LLM의 정확성, 비용, 속도 등을 평가, 어떤 LLM이 어떤 유형의 요청에 가장 적합한지 결정해 준다. 야쉬 우파드히아이 마션 CEO는 "GPT-4를 포함한 다양한 LLM을 '단순한 모델 아키텍처로 변환', 평가를 용이하게 한다"고 말했다. 

영업 비밀이라며 자세한 내용의 언급은 피했다. 또 GPT-4와 같은 폐쇄형 모델은 분석이 어렵다는 점을 인정했다.

하지만 "하루 100만건 이상의 모델 라우팅을 처리하고 있다"며 "어떤 회사는 비용에 민감한 반면, 다른 회사는 속도를 우선한다"고 말했다.

어텀8(Autumn8)이라는 스타트업은 모델 라우팅에 필수인 'LLM 분석 및 평가'에 초점을 맞췄다. 이 회사는 최근 세이지 힐 인베스터라는 투자사로부터 200만달러(약 원)의 투자를 유치하기도 했다.

물론 모델 라우팅이 주요 사업 분야로 자리잡을지는 미지수다. 모든 기업에 모델 라우팅이 필요한 것도 아니다. 벤처 캐피털인 섹션 32의 앤디 해리슨 CEO는 "모델 자체는 AI 솔루션을 구현하는 데 필요한 인프라 퍼즐의 작은 조각일 뿐"이라고 말했다. 하지만 우파드히야이 CEO는 "LLM 작동 방식을 이해하는 능력이 향상돼야, 모델을 안전하고 예측 가능하게 사용할 수 있다"고 강조했다.

또 AI 스타트업에 모델 선택과 라우팅이 중요해지면 아마존 같은 클라우드 기업이나 허깅페이스 같은 모델 허브가 이런 서비스를 직접 제공할 가능성이 높다는 예측이다. 반면 카누 굴라티 코슬라 벤처스 파트너는 "그러나 이런 클라우드 업체는 자체 LLM도 서비스하기 때문에, LLM 평가에 중립적이지 않다는 평가를 들을 수 있다"고 지적했다.

이에 대해 디 인포메이션은 "모델 분석 및 라우팅 스타트업이 기업들에 얼마나 도움이 될지는 확실하지 않지만, 이들이 등장했다는 것은 많은 기업이 AI 비용을 줄이기 위해 노력한다는 것을 보여주는 사례"라고 평했다.

임대준 기자 ydj@aitimes.com

원문: https://www.aitimes.com/news/articleView.html?idxno=153902