뉴튠(대표 이종필)은 지난 9월 텍스트 프롬프트로 배경음악을 생성하는 ‘믹스오디오 DJ’ 데모 버전을 출시한 데 이어 11월에는 세계 최초로 텍스트 프롬프트와 이미지, 음악 등의 입력이 가능한 멀티모달 BGM 음악 생성기 ‘믹스오디오(Mix.audio)’를 선보인 국내 대표 음악 생성 AI 스타트업입니다. 특히 AI타임스의 ‘AI 주크박스’ 코너를 통해 세상에서 하나뿐인 테마별 음악을 전달하고 있습니다.
뉴튠이 정리한 2023년 음악 생성 인공지능(AI) 시장은 어떤 모습이었을까요. 다음은 뉴튠이 보내온 원고를 정리한 내용입니다. <편집자주>
올해는 많은 기업이 생성 AI 솔루션 및 서비스 시장을 형성하기 위해 분투했다. 그중 ‘음악 생성 AI’는 비교적 늦게 빛을 발한 만큼, 고퀄리티 서비스가 속속 등장하고 있다.
지난 5월 구글이 ‘뮤직LM(MusicLM)’을 처음 공개했으며, 6월에는 메타가 ‘뮤직젠(MusicGen)’을 선보였다. 이어 9월에는 스테빌리티 AI가 오디오 생성에 특화한 ‘스테이블 오디오(Stable Audio)’ 모델을 내놓았다.
각 모델은 고유한 원리를 따르면서도, ‘자연어 프롬프트’를 이용한다는 공통점이 있다. 텍스트 입력만으로 원하는 음악을 생성하기 때문에 창작의 한계를 넘어서는 동시에 명확한 한계점도 드러냈다. 미국 IT 매체 테크크런치는 생성 AI가 만든 음악의 품질이 ‘아직 음악가들의 일자리를 위협할 수준은 아니다’라고 지적한 바 있다. 가장 큰 문제는 비용이다. 음악의 멜로디, 비트, 악기 등 다층적 요소를 모두 고려하려면 모델 운영에 많은 비용이 들기 때문이다.
따라서 대부분 스타트업은 ‘저비용 고퀄리티’ 음악 생성 AI를 지향했다. 주요 트렌드는 음성 복제였다. ‘브루노 마스가 부르는 뉴진스 노래’ 등 동영상 사이트에 AI 커버송을 업로드하는 사용자가 증가했다. 가수들의 목소리를 학습해 완벽하게 재현하는 ‘뮤직파이(Musicfy)’ 등의 서비스도 등장했다. 음악을 스포티파이에 유통, 저작권 수익을 올릴 수 있는 ‘부미(Boomy)’와 같은 서비스도 인기를 끌었다.
저작권 걱정 없이 배경음악(BGM)을 생성해 주는 ‘사운드로우(Soundraw)’ 등은 이미 상용화 단계에 들어섰다. 연말에는 마이크로소프트 코파일럿에 AI 음악 생성기 ‘수노(Suno.ai)’ 플러그인이 탑재되며, 음악 생성은 또 하나의 주요 트렌드로 자리 잡았다.
기존 음악 산업의 대명사들도 생성 AI 시장에 뛰어들기 시작했다. 최대 규모 음반사라고 할 수 있는 유니버셜 뮤직(UMG)은 소속 가수들의 목소리를 AI로 복제한 다수 사례를 저작권 침해로 판단했다. 스트리밍 서비스에 음원 삭제를 요청하는 것은 물론, 지난 10월 앤트로픽에 ‘노래 가사 무단 사용 및 학습’ 문제로 손해배상을 청구하기도 했다.
동시에 AI 음악 기술 스타트업 엔델과 파트너십을 맺고 아티스트의 IP를 활용한 기능성 음악 제작에 나섰다. 8월부터는 구글과 생성 AI에 대한 저작권 문제 협상을 진행한 바 있다. 유튜브와 소속 아티스트들이 협력해 AI 음악 도구를 실험하는 ‘음악 AI 인큐베이터’를 시작했다.
국내에서도 관련 스타트업이 두각을 나타내고 있다. 올해 초 하이브는 약 490억을 들여 AI 오디오 기업 수퍼톤을 인수했다. 가수 미드낫의 새로운 트랙을 6개 국어로 제작하는 데 AI 음성 기술을 활용했다.
또 한국과학기술원(KAIST) 출신 구성원이 창업한 뉴튠은 세계 최초로 멀티모달 방식의 AI 음악 생성 서비스를 선보였다. 믹스오디오는 본격 출시 이전부터 CES, GDA 등에서 수상하며 기술력을 입증한 바 있다. 베타 버전 출시 후 4만개 이상의 곡을 생성하며 독보적 데이터를 구축했다.
메타버스와 AI를 결합한 버시스(대표 이성욱)는 11월 SM 엔터테인먼트와 협력해 메타버스 플랫폼 제페토에 ‘에스파월드’를 구현했다. 사용자의 행동을 반영해 인터랙티브한 AI 음악 경험을 제공, 팬들의 큰 호응을 얻었다는 설명이다.
새해에도 음악 산업에서 생성 AI의 열풍은 지속될 수 있을까. 이에 대해 많은 전문가는 “2023년은 AI 음악 기술이 대중의 관심을 끌고 놀라움을 선사한 해였다면, 2024년에는 단순 화제성을 넘어 실제 상용화 단계에 도달할 것”으로 예상하고 있다.
더불어 이제부터 시장 선점을 위한 본격 경쟁이 펼쳐질 것으로 봤다. 기업 간의 기술 격차는 많이 줄어든 상황으로, 중요한 것은 ‘사용자에게 얼마나 빠르고 효율적으로 상품을 제공하는가’라는 점이다.
한편, 글로벌 시장조사 업체 마켓어스는 2023년부터 2032년까지 AI 음악 생성 분야의 연평균 성장률을 28.6%로 추산했다. 2024년 시장 규모 약 4500억원에서 2032년에는 3조2000억원까지 확대할 것이라는 예측이다.
정리=장세민 기자 semim99@aitimes.com