[IT 소식] 엔비디아, 온디바이스 AI 개발 나선다

 

엔비디아, 온디바이스 AI 개발 나선다

스타트업 옴니ML의 AI 모델 압축 기술 인수

(사진=셔터스톡)

엔비디아가 생성 인공지능(AI) 기술을 스마트폰과 같은 모바일 기기로 가져오기 위한 경쟁에 뛰어든 정황이 포착됐다.

최근 빅테크 기업이 운영하는 클라우드를 통하지 않고 실행하는 이른바 온디바이스 AI에 몰두하는 기업이 늘어나는 가운데 엔비디아가 AI 모델을 압축해 다양한 엣지 장치에서 실행할 수 있도록 하는 스타트업 옴니ML을 인수해 눈길을 끌고 있다.

디인포메이션은 30일(현지시간) 지난 2월 머신러닝(ML) 모델을 축소하고 최적화해, 클라우드가 아닌 장치에서 실행할 수 있도록 지원하는 소프트웨어 개발 스타트업인 옴니ML을 인수했다고 전했다.

옴니ML의 소프트웨어 플랫폼인 ‘옴니마이저(Omnimizer)’는 정확도를 잃지 않고 신경망의 크기를 줄이는 압축 기술을 사용해 네트워크 엣지에 있는 다양한 칩과 장치에서 실행 되도록 AI 모델을 최적화한다.

이번 인수는 더 작고 전력 효율적인 AI 모델을 구축할 수 있는 옴니ML의 고유한 기술을 활용해 자사 AI 칩을 자동차, 드론, 산업용 로봇 등 다양한 엣지 장치를 위한 별도의 AI 칩으로 경량화하려는 엔비디아의 전략적 의도로 보인다.

최근 업계는 대형 기술 기업이 운영하는 서버의 클라우드를 통하지 않고 엣지에서 실행하는, 이른바 하이브리드 AI에 몰두하고 있다. 

특히 챗GPT와 같은 대형언어모델(LLM)을 모든 서비스에 적용하기엔 컴퓨팅 비용이 너무 비싸다. 이에 경량화된 LLM으로 운영 비용과 기술적 한계를 돌파, 생성 AI를 모바일 기기나 다양한 서비스에 적용하는 접근법이 부상하는 추세다.

퀄컴을 필두로 메타, 구글, MS, IBM 등 빅테크기업은 LLM 경량화 사업에 앞다퉈 뛰어들고 있다. 여기에 애플도 자사 제품에서 구동하는 온디바이스 AI 모델을 채택하며 경쟁에 가세했다.

이번 인수를 통해 옴니ML 기술이 LLM을 축소해 챗봇을 데이터 센터가 아니라 장치에서 온디바이스로 실행할 수 있도록 하는데 잠재적으로 도움이 될 수 있다고 디인포메이션은 내다봤다.

엔비디아가 옴니ML을 얼마에 인수했는지는 공개되지 않았다.

박찬 기자 cpark@aitimes.com

원문 : https://www.aitimes.com/news/articleView.html?idxno=152182