메타가 코드 생성 인공지능(AI) 모델을 오픈 소스로 공개했다. 지난 7월 대형언어모델(LLM) 라마 2를 공개한 데 이어  이번 달에만 음악·오디오 생성 AI ‘오디오크래프트’, 언어번역 모델 ‘심리스M4T’에 이은 3번째 오픈 소스 모델 공개다.

테크크런치는 24일(현지시간) 메타가 라마 2(Llama 2)’를 기반으로 코드 생성 및 디버깅 등 프로그래밍 기능에 특화한 ‘코드 라마(Code Llama)’를 공개했다고 소개했다. 

코드 라마는 자연어와 프로그래밍 언어를 동시에 이해하고 구사한다. 사람이 자연어로 명령하면 이를 코드로 작성하고, 코드를 입력하면 자연어로 설명하거나 코드를 디버깅할 수 있다. 

라마 2와 마찬가지로 오픈소스로 제공되며, 연구용이나 상업적 용도로 무료 사용 가능하다. 메타에서 코드 라마 모델을 직접 다운로드할 수 있다.

▲70억개와 ▲130억개 ▲340억개 매개변수를 가진 세 가지 모델로 공개했다. 매개변수가 작은 버전일수록 단일 GPU에서 대기시간이 짧은 프로젝트에 사용하기 적합하다. 코드 라마는 5000억개 코드 토큰과 코드 관련 데이터를 기반으로 추가 학습했다. 

메타는 코드 라마를 공개하며 기본 모델 외에 ▲파이썬 프로그래밍 언어에 특화된 ‘코드 라마-파이썬’과 ▲자연어로 지시를 이해하는 ‘코드 라마-인스트럭트(Code Llama-Instruct)’ 버전도 선보였다.

코드 라마-파이썬 버전은 파이썬 프로그래밍 언어로 소프트웨어를 생성하도록 설계됐으며, 1000억 개의 코드 토큰으로 구성된 데이터셋에서 미세조정됐다. 

코드 라마-인스트럭트 버전은 사용자의 자연어 지침을 기반으로 코드를 생성하도록 최적화됐으며, 생성된 코드가 어떻게 작동하는지 설명할 수 있다. 

특히 코드 라마는 최대 10만 토큰 길이의 긴 컨텍스트 창을 허용한다. 더 긴 컨텍스트 창을 사용하면 더 효과적으로 일부 프로그래밍 작업을 수행할 수 있다. 메타에 따르면 큰 컨텍스트 창을 사용하는 코드 라마는 소프트웨어 오류 디버깅에 강점이 있다.

메타는 가장 큰 340억 매개변수 모델이 현재까지 오픈 소스로 제공되는 코드 생성기 중 가장 성능이 뛰어나며 매개변수 수 기준으로 가장 큰 모델이라고 강조했다.

메타는 “무료로 배포된 코드 라마를 이용하면 개발자들은 업무를 더욱 빠르고 효율적으로 할 수 있고, 코딩을 모르는 사람들의 진입 장벽도 혁신적으로 낮출 수 있다”고 밝혔다.

코드 생성 AI도 LLM 시장에서 치열한 경쟁이 벌어지는 분야다.

마이크로소프트는 오픈AI의 코덱스 기반의 코딩 도우미’깃허브 코파일럿’을 유료로 선보였다. 깃허브 코파일럿은 개인 개발자에 월 10달러, 기업용 버전은 사용자당 월 19달러를 받는다. 

구글도 ‘바드’에 코드 생성 기능을 추가했다. 아마존은  AI 기반 코딩 도우미 서비스 ‘코드위스퍼러’를 내놓고 개인 개발자에 무료로 제공하고 있다.

박찬 기자 cpark@aitimes.com