[IT 소식] 메타, 상업용 오픈소스 LLM ‘라마2’ 공개

MS '애저', AWS, 허깅페이스 통해 서비스...
70~700억 파라미터, 2조개 토큰, 4096개 토큰 컨텍스트 창 활용

(사진=메타)

메타가 18일(현지시간) 최신 대형언어모델(LLM) ‘라마2′를 상업용으로 사용할 수 있는 무료 오픈소스로 공개했다.

연구 목적으로 공개한 '라마' 사용자들이 상업용으로도 사용할 수 있게 해 달라는 요구를 전격 수용한 행보다.

특히 이번에는 기존 오픈소스 공개 창구였던 허깅페이스 외에 MS '애저'와 AWS 등 클라우드 서비스를 통해 이용할 수 있도록 한 점이 눈에 띈다. 후발주자라는 단점을 극복하고 보다 많은 사용자를 확보하기 위해 공급 통로를 전방위로 확대하려는 의도로 보인다. 

이번에 공개한 '라마2'는 70억~700억개의 매개변수 버전을 지원한다. 2조개에 달하는 토큰으로 사전 훈련했다.

한번에 처리할 수 있는 컨텍스트 창은 4096개 토큰으로 기존 모델 대비 대폭 증가했다. 컨텍스트 창이 늘수록 한번의 명령어에서 처리할 수 있는 정보량이 많아진다는 장점이 있다.

메타는 라마2가 이전 모델보다 40% 이상 많은 데이터를 학습했으며 허위발언이나 사실이 아닌 것을 AI가 사실처럼 말하는 ‘환각’ 위험성을 줄였다고 설명했다.

라마2의 가장 큰 차별화 요소는 GPT-4나 팜2와 같은 경쟁 제품과는 달리, 오픈소스로 제공된다는 점이다. 오픈AI와 구글은 자사의 LLM을 사용해 AI를 개발하려는 다른 기업으로부터 상당한 금액을 받고 LLM을 제공하고 있다. 그러나 라마2는 누구나 이를 무료로 활용하여 AI을 개발할 수 있다.

이는 후발주자로서 시장을 확대하기 위한 전략의 일환으로 평가받는다. 업계에서는 오픈소스 LLM이 점차 개선되면서 저렴한 비용으로 실행할 수 있고 종속성이 적기 때문에 기존 폐쇄소스 LLM의 시장 점유율을 잠식할 수 있다고 지적했다. 

또한 오픈소스로 소스코드를 공개해 시장을 확대하면 여러 개발자의 수정을 통해 성능을 더욱 개선할 수도 있다. 

마크 저커버그 메타 CEO는 “오픈소스는 더 많은 개발자가 새로운 기술을 개발할 수 있게 해주기 때문에 혁신을 주도한다”면서 “더 많은 사람이 소프트웨어를 면밀히 검토해 잠재적인 문제를 식별하고 수정할 수 있기 때문에 안전과 보안이 향상된다”고 말했다.

업계가 주목하는 또 다른 점은 이번 모델이 상업적 사용을 허용한다는 점이다. 이전 모델은 오픈소스로 공개됐지만 상업적으로 이용할 수 없어 개발자들은 여러 우회로를 통해야 했다. 

이번에 상업적 용도로도 활용할 수 있는 새 모델까지 나오면서 오픈소스 모델을 활용해 온 수많은 개발자들의 높은 기대를 받고 폐쇄적인 모델 정책을 취해 온 구글 등 빅테크들도 적지 않은 영향을 받을 것으로 전망된다. 라마2는 이날 기준 AI 모델 플랫폼 ‘허깅페이스’ LLM 리더보드 순위 1위를 기록하고 있다.

메타는 라마2를 마이크로소프트(MS)의 애저 클라우드와 아마존의 아마존웹서비스(AWS), 허깅페이스 등을 통해 제공할 계획이다. 

월스트리트저널(WSJ)을 비롯한 외신에 따르면 MS는 이날 연례 파트너사 컨퍼런스인 ‘인스파이어 2023(Inspire 2023)′을 열고 애저 클라우드 고객은 메타의 새로운 LLM ‘라마2’를 이용할 수 있게 된다고 밝혔다. 

이에 따라 메타의 ‘라마2′는 MS의 애저 서비스에서 이용할 수 있게 된다. 애저 서비스를 통한 메타의 최신 LLM 제공은 MS가 오픈AI에 집중된 AI 서비스를 다른 회사에도 다양화하겠다는 의도로 풀이된다. 기존 폐쇄소스 LLM과 더불어 오픈소스 LLM까지 제공하는 양수겸장으로 MS의 클라우드의 경쟁력은 한층 더 강화될 전망이다.

메타의 입장에서도 상업적 목적으로 활용이 가능한 오픈소스 LLM을 클라우드 서비스로 제공하면서 시장 확산에 날개를 달게 됐다.

MS 측은 “메타와 MS는 AI와 그 혜택을 보편화하기 위한 약속을 공유하고 있다”며 “개발자들에게 다양한 종류의 모델 선택권을 제공하게 됐다”고 설명했다.

MS는 2019년부터 챗GPT 개발사 오픈AI와 전략적 제휴를 맺어왔기 때문에 이번 메타와 제휴 공개는 이례적인 결정으로 받아들여지고 있다.

라마2는 이용료가 필요 없는 오픈소스로 제공되지만, 애저 서비스 이용에 대해서는 MS에 이용료를 지급해야 한다.

한편 메타는 이날 퀄컴과의 파트너십을 발표하며 2024년부터 라마2를 퀄컴의모바일 및 PC 칩에 이식하겠다고 밝혔다. 

이는 일종의 '엣지 AI'로, LLM을 중앙 데이터센터에 연결하는 대신 휴대폰이나 PC에서 실행, 속도와 비용을 크게 줄인 개인 비서 형태로 사용하겠다는 의도다.

박찬 기자 cpark@aitimes.com

원문: https://www.aitimes.com/news/articleView.html?idxno=152503