주요 대형언어모델(LLM)의 ‘투명성 지수’가 공개됐다. 인공지능(AI)의 사회적 영향력은 증가하지만, LLM에 대해 공개된 사실이 많지 않다는 것을 지적하는 연구다. 오픈 소스를 포함해 모든 모델은 심각할 정도로 투명성 지수가 낮았다.

뉴욕타임스와 벤처비트는 18일(현지시간) 스탠포드대학교의 파운데이션 모델 리서치 센터(CRFM)가 주요 10개 LLM을 대상으로 한 ‘파운데이션 모델 투명성 지수(FMTI)’를 공개했다고 보도했다.

이에 따르면 CRFM은 LLM의 투명성이 떨어지면 다른 기업이 애플리케이션을 안전하게 구축할 수 있는지 알기가 더 어려워진다고 지적했다. 또 모델의 투명성은 연구 및 정책 입안에도 중요한 역할을 한다. 소비자에게도 LLM의 한계를 이해하거나 발생한 피해에 대한 문제점을 파악할 수 있게 한다.

CRFM은 MIT 및 프린스턴대학교 등과 힘을 모아 벤치마크 시스템인 FMTI를 설계했다 . LLM에 대한 투명성, 구축 방법 및 사용 방법을 기준으로 각 모델을 평가하고, 데이터와 노동, 컴퓨팅, 다운스트림 영향을 포함해 15개 범주로 점수를 분류했다. 유럽연합(EU )이 추진 중인 AI 법 준수 여부도 체크했다.

그 결과 10개 모델 중 1위를 차지한 것은 메타의 오픈 소스 모델 ‘라마 2’였다. 그러나 투명도는 53%에 그쳤다.

2위 역시 오픈 소스 모델인 허깅페이스의 ‘블룸즈'(53%)였으며, 폐쇄형 모델의 대명사로 알려진 오픈AI의 ‘GPT-4’가 의외로 45%의 투명도로 3위에 올랐다.

오픈 소스 계열인 스태빌리티 AI의 ‘스테이블 디퓨전(47%)’이 4위에 올랐으며, 5위인 구글의 ‘팜 2’부터는 40%를 넘기지도 못했다. 특히 10위를 차지한 아마존의 ‘타이탄’은 투명성이 고작 12%에 그쳤다.

이에 대해 퍼시 리앙 CRFM 이사는 “오픈 소스가  one hundred pc를 기록하고 폐쇄형 모델이 0%를 얻는 시스템이 아니다”라며 “업스트림 종속성, 모델 구축에 투입한 데이터, 노동력, 컴퓨팅뿐만 아니라 다운스트림 영향 등 전체 생태계를 고려하기 때문”이라고 설명했다. 리시 봄마사니 CRFM 소셜 책임자 역시 “점수가 가장 낮은 타이탄 모델에 문제가 있다는 말이 아니다”라며 “다른 모델보다 늦게 출시됐기 때문에 그만큼 공개된 사실이 적기 때문에 이런 현상이 발생한다”라고 설명했다.

하지만 전반적으로 LLM의 투명성이 심각할 정도로 낮다는 것에 대해서는 우려를 표했다.

리앙 이사는 “이 정도로 LLM에 대해 알려진 것이 없다는 사실이 놀랍다”라며 “지금까지 투명성 지수가 없었던 것도 이유 중 하나일 수 있다”라고 지적했다. 

또 “일부는 당장이라도 개선이 가능한 것들이며, 반대로 시간이 오래 걸릴 부분도 있다”라며 “이번 테스트를 계기로 상황이 개선될 것으로 믿겠다”라고 말했다.

임대준 기자 ydj@aitimes.com