ETH 취리히

Artificial Intelligence

LLM 추론 속도 300배까지 향상…’패스트 피드 포워드’ 아키텍처 공개

신경망에서 추론을 위해 활성화되는 뉴런의 수를 최소화하는 새로운 딥러닝 아키텍처가 나왔다. 이를 통해 대형언어모델(LLM)의 추론 속도와 비용을 최대 300배까지 줄였다고 밝혔다. 벤처비트는 24일(현지시간) 취리히 연방 공과대학교 연구진이 LLM의 기반이 되는 트랜스포머 신경망의 피드 포워드 레이어에서 추론에...