[IT 소식] AI2, 상업 활용까지 자유로운 '진짜' 오픈 소스 LLM '올모' 출시

(사진=AI2)

앨런AI연구소(AI2)가 완전한 오픈 소스 대형언어모델(LLM) '올모(OLMo)’를 출시했다. 데이터 수집, 학습, 배포의 전 과정을 투명하게 공개한 데다 상업적 사용까지 허용한 진정한 의미의 오픈 소스 LLM이라는 평가다.

벤처비트는 1일(현지시간) 비영리 민간 AI 연구기관인 AI2가 ‘최초의 진정한 오픈 소스 LLM 및 프레임워크’라고 소개한 ‘올모’를 출시했다고 보도했다. 

이에 따르면 올모는 모델 코드와 모델 가중치뿐만 아니라 훈련 코드, 훈련 데이터, 관련 툴킷 및 평가 툴킷도 제공한다. 이를 통해 모델이 어떻게 구축되었는지 심층적으로 분석, LLM의 작동 방식과 응답을 생성하는 원리를 더 잘 이해할 수 있다. 

올모 프레임워크는 70억 매개변수의 ‘올모 7B’ 등 4가지 변형 모델과 10억 매개변수의 ‘올모 1B’ 모델을 제공한다. 모델들은 훈련 데이터를 생성하는 코드를 포함해 사전 훈련을 위한 3조개의 토큰 공개 코퍼스를 특징으로 하는 AI2의 ‘돌마(Dolma)’ 데이터 세트를 기반으로 구축됐다.

프레임워크에는 추론 코드, 훈련 지표 및 훈련 로그와 함께 최소 2조개의 토큰으로 훈련된 모델에 대한 전체 모델 가중치가 포함된다. 또 개발에 사용된 평가 제품군도 포함돼 있으며, 평가 제품군은 훈련 과정 중 1000단계마다 모델당 500개 이상의 체크포인트로 구성된다.

또 아파치 2.0 라이선스에 따라 상업적 활용에 제한이 없다. 

이와 관련, 카네기 멜론대학교는 지난달 "빅테크의 오픈 소스 AI는 사실상 상업용 모델"이라며 "빅테크의 마케팅이나 규제회피 용도로 오픈 소스라는 단어를 활용한다"라고 비난한 바 있다. 실제 메타나 마이크로소프트, 애플 등이 공개한 오픈 소스는 연구에 한정되거나 상업 활용 시 사용자 수에 따라 별도 라이선스를 획득해야 한다.

한나 하지시르지 AI2 올모 프로젝트 책임자는 "오늘날 많은 언어 모델은 제한된 투명성으로 공개된다"라며 “훈련 데이터에 접근하지 못하면 연구자들은 모델이 어떻게 작동하는지 과학적으로 이해할 수 없다. 이는 임상 시험 없이 신약을 발견하거나 망원경 없이 태양계를 연구하는 것과 같다”라고 말했다. 

이어 “우리의 새로운 프레임워크를 통해 연구자들은 마침내 안전하고 신뢰할 수 있는 차세대 시스템을 구축하는 데 중요한 LLM 과학을 연구할 수 있게 될 것”이라고 덧붙였다. 

성능 면에서도 올모는 상업용 제품과 동등한 성능을 보여주는 것으로 나타났다. 올모는 메타의 '라마' 및 TII의 '팰컨'과 같은 모델과의 일부 자연어 처리 벤치마크 테스트에서 월등한 성능을 기록했다.

올모 벤치마크 결과 (사진=AI2)

다만 비영어권 언어에 대한 낮은 품질과 약한 코드 생성 기능과 같은 제약 사항이 있다.

AI2는 “다양한 모델 크기, 양식, 데이터 세트 및 기능을 사용해 올모를 계속해서 향상할 것”이라고 말했다.

AI2에 따르면 올모의 출시는 단순히 도구를 제공하는 것이 아니라 AI 모델에 대한 더 깊은 이해를 위한 기반을 구축하는 것이다.

얀 르쿤 메타 수석 과학자는 "오픈 소스 기반 모델은 생성 AI에 대한 혁신과 개발을 촉진하는 데 매우 중요했다"며 “오픈 소스에서 비롯된 활발한 커뮤니티는 AI의 미래를 구축하는 가장 빠르고 효과적인 방법”이라고 말했다.

현재 올마에 대한 모든 리소스는 깃허브 및 허깅페이스에서 무료로 사용할 수 있다.

박찬 기자 cpark@aitimes.com

원문: https://www.aitimes.com/news/articleView.html?idxno=156940