[IT 소식] 대형언어모델 '팰컨'의 연이은 혁신!.. 세계에서 가장 강력한 LLM·생성AI 모델 ‘팰컨 180B’ 오픈소스로 공개

파라미터가 1800억 개에 달하는 이 모델은 3조5000억개의 토큰으로 학습, 메타의 LLaMA 2에 비해 컴퓨팅 리소스가 4배...AI 챗봇에서 코드 생성에 이르기까지 다양한 영역에서 생성 AI 글로벌 민주화 선봉에

'팰컨 40B(Falcon 40B)' 오픈 소스로 공개(이미지:본지)

아랍에미리트(UAE) 글로벌 과학연구센터첨단기술연구위원회(Advanced Technology Research Council, 이하, ATRC)의 기술혁신연구소(Tech Innovation Institute. 이하, TII)가 대형언어모델(LLM) 이자 생성 AI(Generative AI) 글로벌 민주화에 혁신을 거듭하고 있다.

UAE 최초, LLM 이자 생성 AI 모델 '팰컨 40B(Falcon 40B)'을 지난 5월 말 오픈소스로 공개한지 불과 몇 개월 만에 고급 버전인 '팰컨 180B(Falcon 180B)'를 6일(현지시간) 오픈소스로 공개한 것이다.

특히, 지난 5월 팰컨 40B는 LLM 허깅페이스 리더보드(Hugging Face Leaderboard for LLM)에서 빠르게 정상에 오르며 놀라운 성공을 거둔 이후, ATRC의 TII는 생성형 AI 분야에서 계속 선두를 달리고 있다. 팰컨 40B는 연구자와 상용 사용자 모두를 위한 오픈소스 모델의 첫 번째 사례 중 하나로, 이 분야에서 메타와 더불어 LLM 민주화에 선봉에 나섰다.

 

이미지:ATRC

ATRC의 파이잘 알 반나이(H.E. Faisal Al Bannai) 사무총장은 팰컨이 AI 환경에 미치는 긍정적인 영향을 강조하며 “우리는 인공지능의 혁신적 힘을 모든 사람이 누릴 수 있는 미래를 그리고 있다"며, "프라이버시와 인공지능이 인류에 미칠 수 있는 잠재적 영향이 소수에 의해 통제돼서는 안 되기 때문에 우리는 고급 AI에 대한 접근성을 민주화하기 위해 노력하고 있다"고 밝혔다.

이어 "모든 해답을 가지고 있지는 않지만, 오픈 소스 커뮤니티와 협력하고 이에 기여해 AI의 혜택을 모든 사람이 나누도록 한다는 우리의 결심은 꺾이지 않는다.”라고 덧붙였다.

1800억 개의 엄청난 파라미터를 사용하고 3조 5000억개의 토큰으로 학습된 '팰컨 180B'는 사전 학습 LLM의 허깅페이스 리더보드에서 현재, 정상에 올랐다. TII(기술혁신연구소)는 추론, 코딩, 숙련도, 지식 테스트 등 다양한 벤치마크에서 메타가 지난 7월 18일, 오픈 소스로 공개한 '라마 2(LLaMa2)'와 같은 유명 경쟁 모델보다 뛰어난 성능을 발휘한다고 밝혔다.

허깅페이스 Falcon 180B Benchmarks 갈무리

특히, 팰컨 180B는 오픈AI(OpenAI)의 최신 GPT-4에 이어 2위를 차지하고 있으며, 절반 크기에도 불구하고 구글 바드(Bard)를 구동하는 모델인 구글의 PaLM 2 Large와 성능 면에서 동등하다. 이 모델의 라이선스 프레임워크는 아파치 2.0(Apache 2.0)을 기반으로 하는 ‘팰컨 180B TII 라이선스’를 기반으로 설정된다.

TII의 책임자 겸 AI 크로스 센터 유닛 수석 연구원 엡테삼 알마즈루에이 박사(Dr. Ebtesam Almazrouei)는 “팰컨 180B의 출시는 AI의 경계를 확장하기 위한 우리의 헌신을 잘 보여주는 예이며, 그 무한한 잠재력을 전 세계와 공유하게 돼 매우 기쁘다"며, "팰컨 180B는 미래의 혁신을 촉진하는 오픈 액세스를 통해 과학적 발전의 잠재력을 활용할 수 있는 새로운 생성형 AI 시대를 예고한다"고 설명했다.

이어 "과학과 기술의 최전선에 뛰어드는 우리의 비전은 혁신을 넘어선다. 즉, 협력적 돌파구를 통해 글로벌 과제를 해결하기 위한 깊이 있는 연결을 맺어가는 것이다.”라고 덧붙였다.

이미 전 세계적으로 1200만명 이상의 개발자 및 연구자가 팰컨의 첫 번째 릴리스(팰컨 40B)를 채택하고 배포하면서 이번 팰컨 180B로 업그레이드는 AI 챗봇에서 코드 생성에 이르기까지 다양한 영역에서 글로벌 최고의 생성 AI 모델이 될 것이라고 TII는 밝혔다. 지난해 4월에는 세계 최고 100억개 매개변수의 아랍어 자연어처리 모델 '누어(NOOR-참고)'도 공개했다.

한편, 팰컨 180B은 영어, 독일어, 스페인어, 프랑스어 등의 주요 언어를 지원하며 호환도 가능하다. 이탈리아어, 포르투갈어, 폴란드어, 네덜란드어, 루마니아어, 체코어, 스웨덴어는 제한적으로 지원된다. 현재, 이 팔콘 180B 모델(다운)과 데모 모델(다운)은 허깅페이스를 통해 연구 및 상업적 용도로 누구나 사용할 수 있다.