딥페이크 등 인공지능(AI) 생성 이미지에 워터마크를 추가해 구별하려는 시도가 별 쓸모없다는 주장이 나왔다. 한 연구팀이 현재 사용 중인 ‘눈에 보이지 않는’ 주요 워터마크를 모두 제거했다는 논문을 발표했다.

와이어드는 3일(현지시간) 메릴랜드대학교 연구진이 현재 등장한 주요 워터마크의 실효성을 입증하는 ‘대규모 언어 모델에 대한 워터마크의 신뢰성’이라는 논문을 온라인(arXiv)에 게재했다고 소개했다.

이에 따르면 연구진은 눈에 보이는 워터마크는 물론 육안 식별이 불가능한 워터마크를 탐지하고 제거하는 실험을 진행했다. 그 결과 소헬 페이지 매릴랜드대 컴퓨터 과학 교수는 “우리가 워터마크를 모두 깨뜨렸다”라며 “현재로서는 신뢰할 수 있는 워터마킹이 없다”라고 말했다. 연구진은 이처럼 워터마크를 제거하는 것을 ‘세척(washing out)’이라고 불렀다.

지난 8월 캘리포니아대학교 산타바바라 캠퍼스와 카네기 멜론 연구원들이 진행한 실험에서도 같은 결론이 나왔다. 당시 발표한 논문도 “보이지 않는 워터마크는 모두 취약하다”라고 지적했다.

이에 따라 일부에서는 외부 공격에 더 강한 눈에 보이는, 즉 교란이 심한 워터마크를 개발할 수도 있다는 희망을 보였으나, 이번 연구에서는 더 강력한 워터마크 유형도 조작할 수 있다고 지적했다.

AI 탐지 스타트업인 리얼리티 디펜더의 벤 콜먼 CEO는 “워터마크는 언뜻 훌륭하고 유망한 솔루션처럼 들리지만, 쉽게 위조하거나 제거, 무시할 수 있다”고 입을 모았다.

이 문제는 당장 발등에 떨어진 불이 될 수도 있다는 지적이다. 내년 대선을 앞두고 미국에서는 딥페이크에 대한 경계수위를 높이고 있으며, 이에 따라 오픈AI나 구글, 메타 등 주요 생성 AI 기업은 딥페이크 이미지에 워터마크를 심겠다는 ‘AI 안전 서약’까지 한 상태다. 

특히 구글 딥마인드는 8월 말 새로운 워터마킹 도구 ‘신스 ID(SynthID)’ 베타 버전을 출시하며 “이 도구는 완벽하지 않다”라고 밝힌 바 있다. 또 이런 문제로 인해 지폐를 발행할 때 번호를 매기는 것과 같은 방법을 사용해야 한다는 주장도 나오고 있다.

그러나 연구진은 이번 연구가 더 강력한 워터마크를 만드는 데 유용한 정보가 되길 바란다고 밝혔다. 

또 논문 공동 저자인 톰 골드스타인 메릴랜드대 교수는 “아무리 강력한 워터마크를 만들어도 정교한 공격자는 항상 등장할 것”이라며 “하지만 워터 마크가 사앙수 낮은 수준의 공격에 견딜 수 있는 것으로도 충분히 유용할 것”이라고 말했다.

임대준 기자 ydj@aitimes.com