스태빌리티 AI가 프로그래밍 언어 코드를 생성할 수 있도록 설계한 새로운 대형언어모델(LLM) ‘스테이블코드(StableCode)’를 오픈소스로 출시했다.

벤처비트의 8일(현지시간) 보도에 따르면 스테이블코드는 ▲일반적인 사용을 위한 ‘기본 모델’ ▲지침에 따라 코드를 생성하는 ‘명령 모델’ ▲최대 1만6000개의 토큰을 지원할 수 있는 ‘긴 컨텍스트 창 모델’ 등 세가지 버전으로 출시됐다. 세 모델 모두 30억 매개변수로 구축했으며, 기본 모델과 명령 모델은 4000개의 토큰을 지원하는 컨텍스트창을 제공한다.

스테이블코드는 오픈소스 ‘빅코드(BigCode)’ 프로젝트의 코딩 데이터세트를 사용해 훈련했으며, 파이썬, Go, 자바, 자바스크립트, C, 마크다운 및 C++ 프로그래밍 언어의 개발을 지원한다.

허깅페이스와 서비스나우도 지난 5월 빅코드를 기반으로 하는 LLM ‘스타코더(StarCoder)’를 출시한 바 있다. 

스테이블코드의 긴 컨텍스트 창 버전은 사용자에 상당한 이점을 제공한다는 분석이다. 스태빌리티 AI에 따르면 1만6000 토큰의 컨텍스트 창을 통해 개발자는 전문적이고 복잡한 코드 생성 프롬프트를 사용할 수 있다. 또 여러 파일을 포함한 기존 코드 베이스를 보고 이해하고 그 위에 새로운 코드를 생성할 수 있다.

네이선 쿠퍼 스태빌리티 AI 수석 연구원은 “이 긴 컨텍스트 창을 사용해 모델이 코드 베이스에 대해 더 많은 것을 파악할 수 있고, 파일에 정의된 다른 기능이 무엇인지 알 수 있다”며 “그래서 코드를 제안할 때 코드 기반과 요구 사항에 더 맞춤화할 수 있다”고 말했다.

모든 최신 생성 AI 모델과 마찬가지로 스테이블코드도 트랜스포머 신경망을 기반으로 한다.

특히 트랜스포머 모델의 위치 출력에 ALiBi 접근 방식을 사용하는 스타코더 모델과 달리, 스테이블코더는 RoPE(Rotary Position Embedding)를 사용한다. RoPE는 현재 토큰보다 과거 토큰에 더 무게를 두는 경향이 있기 때문에 애플리케이션 흐름의 어느 지점에서나 코드 기능을 정의할 수 있어서 코드 생성에 더 적합하다.

스태빌리티 AI는 “스태이블코드의 목표는 모든 사람이 개발자가 되도록 돕는 것”이라고 밝혔다.

박찬 기자 cpark@aitimes.com