코히어가 새로운 애플리케이션 프로그래밍 인터페이스(API)를 출시, 본격적인 기업용 챗봇 경쟁에 뛰어들었다. 이를 위해 데모용 무료 챗봇도 함께 공개했다.

벤처비트는 28일(현지시간) 캐나다 스타트업 코히어가 ‘챗 API’를 내놓았다고 소개했다. 이를 통하면 코히어의 대형언어모델(LLM) ‘커맨드(Command)’를 기반으로 채팅 애플리케이션을 구축할 수 있다.

또 사용자가 챗봇을 직접 테스트할 수 있도록 홈페이지에서 데모용 챗봇 ‘코랄(Coral)’도 공개했다. 7워렝도 관련 챗봇을 내놓았으나, 당시에는 일부에 접근이 제한된 미리보기 기능이었다

벤처비트의 테스트에 따르면, 코랄은 ‘챗GPT’나 ‘클로드 2’보다 응답 생성에 걸리는 시간을 늦지만, 응답 내용은 최신 내용을 반영하고 출처를 링크할뿐더러 환각 증세도 거의 나타나지 않은 것으로 알려졌다.

특히 코히어는 챗봇 API가 ‘검색 증강 생성(RAG)’ 기능을 갖추고 있어, 개발자가 데이터 검색을 특정 기업 데이터로 제한하거나 또는 전체 인터넷을 검색하도록 확장할 수 있다고 강조했다. 

코히어는 블로그를 통해 “예를 들어 시장 조사를 위한 챗봇을 구축할 경우, 웹 검색 기능을 챗봇에 장착해 해당 분야의 트렌드와 경쟁업체에 대한 최신 뉴스 정보에 접근할 수 있다”라며 “RAG 시스템은 우리 전문 분야로, 사전 훈련한 모델의 일부가 아닌 데이터 소스의 정보를 통합해 생성 AI 응답의 관련성과 정확성을 향상한다”라고 전했다.

이 밖에도 개발자가 세가지 모듈식 구성 요소를 연결할 수 있다고 설명했다.

여기에는 사용자 프롬프트에 응답할 때 참조할 문서를 지정할 수 있는 ‘문서 모드’, 사용자 정보를 기반으로 추천 질문을 내놓는 ‘쿼리 생성 모드’, 챗봇을 웹이나 다른 정보 소스에 연결할 수 있는 ‘커넥터 모드’ 등이 포함된다.

커넥터 모드는 챗GPT의 ‘플러그인’고 흡사한 기능으로, 코히어는 커넥터 및 모듈형 생태계를 확장할 계획이라고 언급했다.

한편 코히어는 ‘트랜스포머’ 논문 공동 저자인  구글 출신 개발자 에이단 고메스가 설립한 회사다. 일반 사용자용 챗봇의 인기를 등에 업은 오픈AI나 앤트로픽보다 지명도는 떨어지는 편이지만, 기업용 LLM에서는 최강자 중 하나로 꼽힌다. 

또 최근에는 오픈AI, 마이크로소프트, 구글, 메타 등과 함께 백악관의 ‘AI 안전 서약’에 참가한 15개 기업 중 하나가 됐다.  

박찬 기자 cpark@aitimes.com