‘챗GPT’나 ‘미드저니’같이 텍스트나 이미지를 생성하는 인공지능(AI)에 비해, 음악 생성 AI는 그리 많이 알려져 있지 않다. 하지만 음악 생성 AI의 역사는 무려 65년 전으로 거슬러 올라간다. 1958년 일리노이대학교가 당시 최고 사양이던 ‘일리악(ILLIAC)’이라는 디지털 컴퓨터를 사용해 음악을 생성해 냈다는 기록이 남아 있다.

생성 AI 시대에 접어 들어들며 오픈AI는 ‘GPT-3’를 선보인 지난 2020년에 이미 ‘주크박스’라는 음악 생성 AI를 내놓았다. 이후에도 비슷한 모델이 나왔으나, 일반 사용자들에게는 관심을 끌지 못했다. 대부분은 전문가가 아니면 만지기 어려웠기 때문이다.

챗GPT 이후에는 양상이 바뀌었다. 텍스트 프롬프트만으로 음악을 만들어 주는 모델이 등장했다. 구글은 지난 1월 ‘뮤직LM’을, 메타는 8월 ‘오디오 크래프트’를 내놓았다.

그리고 국내에서도 텍스트 프롬프트 기반의 음악 생성 AI가 등장했다.

뉴튠(대표 이종필)은 지난달 론칭한 배경음악(BGM) 생성 서비스 ‘믹스오디오DJ(Mix.audioDJ)’를 기반으로 연내 ‘크리에이터 특화 버전’을 출시할 예정이라고 6일 밝혔다. 장면이나 상황 등 묘사를 프롬프트로 입력하면 그에 맞는 음악을 AI로 생성하는 서비스다.

이 회사는 믹스오디오DJ가 국내 최초의 챗GPT 접목형 AI 음악 생성 서비스의 상용화 케이스라고 강조했다. 텍스트 형태로 원하는 음악의 특징 및 분위기, 설명 등을 입력하면 그에 맞는 배경음악을 만들어 준다. 뉴튠 관계자는 “국내에도 AI로 음악을 생성하는 업체는 있지만, ‘음악을 만드는 접근성’은 우리가 가장 뛰어나다”고 전했다.

음악 세부화 및 자체 데이터 확보로 생성 음악의 퀄리티도 높였다고 설명했다.

“그림, 사진과 달리 음악은 좀 더 추상적 형태의 데이터 같다”라며 음악을 데이터로 구체화하는 과정이 중요하다고 밝혔다. “구글이나 메타도 멜로디를 ‘파형’의 형태로 잡아내는 등 전체적이고 추상적인 도안을 그려내는 데 그친다”고 지적했다.

그러나 뉴튠은 목소리와 기타 소리, 피아노 소리, 드럼 소리 등 음악 속 요소를 하나하나 분리해 낸다. 각각의 소리를 독립 데이터로 다루고 경우의 수를 늘려 조합하면 무한히 새로운 음악을 만들어 낼 수 있다. 

물론 쉬운 기술은 아니다. 이미 존재하는 음원에서 소리를 분류해 내려면 상당한 수준의 기술이 필요하다. 

저작권 문제도 따라올 수밖에 없다. 이를 해결하기 위해 아티스트 IP 계약과 더불어 음원을 직접 연주하기로 했다. 실제로 도끼와 넉살 등 힙합 아티스트들과 계약을 마쳤으며, DJ와 인디밴드 멤버 등도 회사에 합류했다. 프로듀서도 2명을 보유, 외부 작곡가 등과 협력하며 음악 퀄리티를 끌어 올리고 있다.

이를 통해 지난 4월 내놓은 것이 음악 생성 서비스인 ‘믹스오디오:P2C(Mix.audio:P2C)’다. 음악 지식이나 전문 기술 없이도 직관적인 인터페이스(UI)를 통해 기존 아티스트의 음악을 재조립, 재구성해 볼 수 있는 창작 서비스다. BGM 생성 서비스 믹스오디오DJ도 이를 기반으로 했다.

그간의 노하우를 집약한 믹스오디오DJ 업데이트 버전 출시는 본격적으로 시장에 도전한다는 의미가 있다.

요즘 유행인 목소리 합성을 통한 음악 생성이 아니라, BGM을 타깃으로 사업 전략을 구축한 것도 상업적 이유 때문이다. “틱톡, 인스타그램 쇼츠 등 뉴미디어가 성장하면서 저작권 우려가 없는 음악의 수요가 꾸준히 증가하고 있다”라며 “먼저 시장이 확실하게 형성된 곳부터 시작, 점차 분야를 확장해 나갈 것”이라고 설명했다.

뉴튠은 KAIST MAC(Music and Audio Computing) 연구실 출신의 이종필 대표를 중심으로 음악공학자 및 아티스트들이 모여 2020년 설립됐다. 음악에 기술을 더한 ‘융합학문’을 기반으로 새로운 서비스를 선보이자는 의도를 가지고 있다.

2021년에는 AI 기반 BGM 음원 검색 서비스 ‘포인튠(POINTUNE)’을 론칭한 경험도 있다. 참고 영상의 링크를 입력하면 AI가 이를 분석, 어울리는 BGM을 추천해 주는 서비스다. 세계 최대 가전 및  IT 전시회인 CES 2023에서는 ‘소프트웨어 & 모바일앱’ 혁신상을 수상하기도 했다.

모든 생성 AI 서비스가 그렇듯, 이 회사의 최종 목표도 개인화와 맞춤화다. 즉 ‘음악 버전의 AI 개인 비서’가 되는 것이다.

뉴튠은 “개인 생활 패턴과 기분, 주변 상황과 날씨 등에 따라 음악을 자동 생성하고 추천하는 방향으로 나가겠다”라며 “이를 통해  음악 생성 AI의 대표 서비스로 자리매김하겠다”고 밝혔다.

장세민 기자 semim99@aitimes.com