‘트랜스포머’ 논문 저자 중 마지막으로 구글을 떠난 일리언 존스가 일본에서 스타트업을 차렸다. 기존 멤버들과는 다르게 대형언어모델(LLM)이 아닌 여러개의 작은 AI 모델을 엮어내는 기술에 집중할 것으로 알려졌다.

블룸버그와 파이낸셜타임스 등은 17일(현지시간) 존스가 스태빌리티 AI의 연구 책임자 출신이자 구글의 핵심 연구원이던 데이비드 하와 함께 ‘사카나(Sakan) AI’라는 인공지능(AI) 스타트업을 설립했다고 보도했다.

이에 따르면 사카나는 일본어로 물고기(さかな)를 뜻하는 말로, 물고기 떼처럼 작지만 다수의 AI 모델로 기존 LLM의 성능을 뛰어넘는 프로젝트를 구상 중인 것으로 알려졌다. 이 방식을 사용할 경우 AI 모델 학습과 운용에 들어가는 시간과 비용을 줄일 수 있다는 설명이다.

이는 최근 오픈AI가 ‘GPT-4’를 여러개의 작은 모델로 분리하고 상황에 맞춰 혼합해서 사용하는 ‘전문가 믹스(MOE, Mixture of Expert)’와 흡사하게 들리지만, 그보다는 다수 AI를 ‘집단 지성’처럼 활용하는 형태인 것으로 알려졌다.

존스는 “현재 AI는 건물처럼 변형할 수 없고 부서지기 쉬운 구조”라며 “반면 집단 지성은 주변의 변화에 유연하게 반응하며 효율성을 높인다”고 말했다.

존스는 2017년 구글이 발표한 논문 ‘어텐션 이스 올 유 니드(attention is all you wish)’의 공동 저자 8명 중 하나다. 먼저 회사를 떠난 7명은 유니콘 반열에 오른 코히어와 캐릭터닷AI를 설립하는 등 활발한 활동을 펼치고 있다.

존스와 데이비드 하는 구글 도쿄 사무실 재직시 가까운 사이였고, 하가 스태빌리티AI로 떠난 후에도 꾸준하게 연락을 취한 것으로 알려졌다. 하는 창업을 하는 제안에 “그냥 납득이 됐다”고 밝혔다.

이 회사는 아직 사무실도 없고 개발한 제품도 없는 상태로, 조만간 도쿄에 사무실을 열 예정이다.

또 구글 거물급 개발자의 스타트업 창립은 대규모 투자로 이어지는 게 일반적이다. 이에 대해 존스는 언급을 거부했다.

임대준 기자 ydj@aitimes.com