매개변수
Artificial Intelligence
LLM 추론 속도 300배까지 향상…’패스트 피드 포워드’ 아키텍처 공개
신경망에서 추론을 위해 활성화되는 뉴런의 수를 최소화하는 새로운 딥러닝 아키텍처가 나왔다. 이를 통해 대형언어모델(LLM)의 추론 속도와 비용을 최대 300배까지 줄였다고 밝혔다.
벤처비트는 24일(현지시간) 취리히 연방 공과대학교 연구진이 LLM의 기반이 되는 트랜스포머 신경망의 피드 포워드 레이어에서 추론에...
Artificial Intelligence
미세조정 중 매개변수 줄이는 기술 등장…”비용 획기적으로 절감”
목적에 맞게 미세조정한 수천개의 대형언어모델(LLM)을 단일 GPU에서 실행할 수 있는 기술이 나왔다. 이를 통해 LLM 미세조정 및 미세조정 모델 실행 비용을 획기적으로 줄일 수 있을 전망이다.
벤처비트는 최근 스탠포드 대학교와 UC 버클리 대학교 연구진이 미세조정한...
Artificial Intelligence
아마존, 역대 최다 ‘매개변수 2조개’ LLM 훈련 중…빠르면 12월 발표
아마존이 2조개의 매개변수를 갖춘 대형언어모델(LLM)을 개발하고 있는 것으로 알려졌다. 이는 이제까지 알려진 LLM 가운데 매개변수가 가장 많은 것으로, AI로 클라우드 경쟁력을 강화하려는 의지가 담긴 것으로 알려졌다.
로이터는 8일(현지시간) 아마존이 코드명 ‘올림푸스(Olympus)’로 불리는 LLM을 개발 중이라고...
Artificial Intelligence
퀄컴 “130억 매개변수 모델 처리하는 PC 칩 출시”…LLM 규모가 성능 기준
퀄컴이 PC 시장에 진출하기 위해 준비한 비장의 무기 '스냅드래곤 X 엘리트(Snapdragon X Elite)' 칩을 선보였다. '온디바이스 AI'를 강조하기 위해 처리 가능한 대형언어모델(LLM)의 매개변수까지 공개했다.
인텔이 ‘AI PC’용 ‘메테오 레이크’ 칩을 출시했으며, 바로 전날 엔비디아와 AMD도...
Recent posts
