프랑스의 간판 스타트업인 미스트랄 AI가 첫 대형언어모델(LLM)을 출시했다. 매개변수 73억개의 기업용 소규모 LLM(sLLM)으로, 동급 최강의 성능을 가졌다는 주장이다.

벤처비트는 28일(현지시간) 미스트랄 AI가 ‘미스트랄 7B’를 오픈 소스로 출시했다고 보도했다.

이에 따르면 미스트럴 7B는 영어 작업과 코딩 기능을 갖췄으며, 공개적으로 사용 가능한 데이터셋과 기업이 제공한 데이터로만 학습해 저작권 문제를 해결했다.

아파치 2.0 라이선스에 따라 출시, 누구나 제한 없이 사용할 수 있다. 또 미세조정이 쉬운 것이 특징으로, 데모로 채팅용으로 미세조정한 모델도 공개했다고 밝혔다.
 
특히 미스트랄 AI는 이 모델이 벤치마크 테스트 전 분야에서 메타의 ‘라마 2 13B(매개변수 130억개)’를 능가했으며, 많은 분야에서 매개변수 340억개인 ‘라마 1 34B’까지 능가하는 등 동급 최강 성능을 보였다고 밝혔다. 

예를 들어 수학과 미국 역사, 컴퓨터 과학, 법 등 57개 주제를 다루는 MMLU(대규모 멀티태스크 언어 이해) 테스트에서 라마 2 7B는 44%, 13B는 55%의 정확도를 보인 반면 미스트랄 7B는 60.1%를 기록했다.

상식 추론과 독해력을 다루는 테스트에서 미스트랄 7B는 69%와 64%의 정확도로 라마 2 7B 및 13B를 모두 따돌렸다. 세계 지식 테스트에서는 라마 2 13B 모델이 조금 앞섰는데, 이에 대해서 미스트랄 AI는 “매개변수가 작으면 압축할 수 있는 지식의 양이 제한되기 때문”이라며 당연한 결과라고 설명했다.

반면 코딩 분야에서는 아직 메타 모델을 따돌릴 만한 성적을 거두지는 못했다.

이 회사는 설립한 지 5개월밖에 안 된 신생 스타트업이다. 특히 지난 6월에는 LLM을 출시하겠다는 계획만으로 유럽 AI 스타트업 사상 최고액인 1억1300만달러(약 1445억원)의 시드 펀딩에 성공해 눈길을 모았다.

파리에 기반을 둔 이 회사는 구글 딥마인드와 메타의 연구원 출신들이 공동 설립했고,  마크롱 프랑스 대통령과 억만장자 그자비에 니엘이 ‘유럽 간판 AI 회사’로 밀어주는 회사다. 

특히 오픈 소스 및 기업용 sLLM을 추구하고 있어, 앞으로도 메타의 모델과 비교가 불가피할 것으로 보인다.

또 MMLU 테스트에서 밝혀졌듯 크기가 3배 이상인 모델급의 성능을 보이는 것은 물론 GQA(그룹 쿼리 어텐션)과 SWA(슬라이딩 윈도우 어텐션) 등의 기술로 빠른 추론과 적은 비용으로 긴 시퀀스를 처리하는 등 강점을 가지고 있다고 설명했다. 이 때문에 저비용 고효율을 추구하는 기업 대상으로 경쟁력을 갖췄다는 평가다.

미스트랄 AI는 더 나은 추론과 다국어 작업이 가능한 큰 LLM을 내년에 출시, 본격적인 B2B 사업에 나설 예정이라고 밝혔다.

현재 미스트랄 7B는 홈페이지에서 다운받아 사용할 수 있다.

박찬 기자 cpark@aitimes.com