‘챗GPT’와 같은 대형언어모델(LLM)에 인간적인 격려를 사용해 지시하면 수학 문제 해결 능력이 극적으로 향상된다는 연구 결과가 나았다.

비즈니스인사이더는 19일(현지시간) 구글 딥마인드가 LLM의 수학 능력을 향상하는 ‘OPRO(Optimization by PROmpting)’을 개발했다고 소개했다.

이에 따르면 구글 딥마인드는 입력 프롬프트에 특정 문구를 포함, LLM이 생성하는 결과의 정확성을 향상시킬 수 있다고 주장했다. 특히 수학 문제를 질문할 때 인간적인 격려가 담긴 문구를 프롬프트에 포함하면 문제 해결 능력이 크게 향상됐다고 전했다. 

예를 들어 ’26개짜리 쿠키판을 사용해 일주일에 4판을 구워 16명의 사람에게 나눠주면 한명당 몇개의 쿠키를 먹게 되나’와 같은 질문을 할 때 ‘단계별로 생각해 보자’는 문구를 함께 제공하면 정확성이 향상된다는 것이다. 

연구에 따르면 ‘단계적으로 생각해 보자’는 문구가 없으면 LLM의 답 정확도는 34%에 불과했지만, 있을 경우에는 정확도가 71%로 증가했다. 챗GPT와 팜 2 모두 비슷한 수준의 정확도를 기록했다.

특히 팜 2에서는 ‘심호흡을 하고 이 문제를 단계별로 해결해 보자’는 프롬프트가 가장 효과적이라는 사실을 발견했다. 이 문구를 적용했을 때 팜 2는 초등학교 수준 수학 문제에서 최고 정확도인 80%를 기록했다. 

이에 대해서 “LLM은 사람이 아니기 때문에 심호흡을 할 수는 없지만, 이는 LLM이 학습한 방대한 데이터셋과 관련이 있다’는 분석이 나왔다.

데이터셋은 Q&A 포럼 등 인터넷의 다양한 소스에서 수집되는데, 여기에는 종종 ‘깊게 숨을 들이마시자’나 ‘한단계씩 생각해 보자’와 같은 구문이 문제 해결의 예를 제시하기 전에 나타난다는 것이다.

그렇기 때문에 이 문구를 함께 제공하면 LLM이 더 정확한 답변에 접근하거나, 문제 해결하는 데에 도움이 될 수 있다는 결론이다.

박찬 기자 cpark@aitimes.com