이미지 생성 인공지능(AI) ‘미드저니’의 오용이나 악용을 막기 위한 안전장치를 간단히 우회, 유해한 이미지를 생성할 수 있다는 지적이 나왔다. 미국 대선을 앞두고 가짜 뉴스를 만드는 ‘챗GPT’ 등에 대한 대비책 마련이 한창인 가운데 향후 대책 마련이 주목된다.

블룸버그는 11일(현지시간) 비영리단체인 디지털혐오대응센터(CCDH) 연구진이 미드저니 가드레일(안전장치)을 쉽게 우회, 악성 이미지를 생성할 수 있다는 연구 결과를 발표했다고 전했다.

이에 따르면 미드저니는 성적이거나 편향, 허위, 유해 콘텐츠를 방지하기 위해 특정 가이드라인에 따라 이미지 생성을 제어한다. 예를 들어 서비스 약관은 사용자가 본질적으로 무례하거나 공격적이거나 학대적이거나 성인 콘텐츠 또는 피 흘리는 이미지 생성을 금지한다. 이 약관은 사용자가 서비스를 사용해 정치 캠페인을 위한 이미지를 만드는 것도 금지한다. 

이 조건에 따라 미드저니는 일부 텍스트 입력을 자동으로 차단할 수 있으며, 68명의 직원이 직접 콘텐츠를 조정한다고 밝혔다.

그러나 CCDH 연구 보고서에 따르면 사용자는 이러한 안전조치에도 불구하고 여전히 혐오적이거나 잘못된 이미지를 생성할 수 있다.

연구진은 2016년 힐러리 클린턴과 2016년 대선 캠페인 의장인 존 포데스타가 워싱턴 DC 피자가게 내부에서 아동 밀매 조직을 운영했다고 거짓으로 주장하는 음모론인 ‘피자 게이트’와 관련한 이미지를 ‘사악한 정치인의 미소, 슬픈 아이들, 피자 가게’와 같은 프롬프트로 쉽게 만들 수 있다는 사실을 발견했다.

또 사용자가 특정 단어를 사용할 수도 있다는 것을 발견했다. 예를 들어 손에 피를 묻힌 이미지를 생성할 수 없지만, 대신 ‘딸기시럽’을 이용해 흡사한 이미지를 생성할 수 있었다. 

미드저니는 지난 4월 웹사이트를 통해 월간 방문자 수가 4200만명 이상이라고 발표할 정도로 현재 가장 인기있는 AI 이미지 생성기 중 하나다. 미드저니는 메시징 앱 ‘디스코드’를 통해서만 사용할 수 있으며, 월 10달러부터 시작하는 구독이 필요하다. 디스코드 서버에는 1400만명의 등록 사용자가 있다. 구독 고객은 미드저니 봇에 메시지를 보내 이미지를 요청할 수 있다.

연구진은 잘못된 정보를 가장 많이 퍼뜨리는 플랫폼이 가장 큰 인기를 얻은 셈이라고 지적했다.

칼럼 후드 CCDH 연구 책임자는 “누구나 이러한 도구 중 하나를 사용해 유해한 콘텐츠를 생성할 수 있다”라며 “이 연구는 나쁜 목적으로 AI 도구를 사용하는 사람들이 생각하는 것보다 더 많이 있다는 것을 보여준다”고 말했다.

또 “절대 일어나지 않을 사건을 묘사해 사실적으로 보이는 이미지를 만드는 것은 더 큰 문제”라고 강조했다.

박찬 기자 cpark@aitimes.com