8B Llama model running at 17,000 tok/s on ONLY a single chip!!!
전체 요약
미국의 스타트업 타알라스(Taalas)가 놀라운 기술 실험 결과를 공개했습니다. AI 모델을 반도체(전자제품의 두뇌 부품)에 아예 새겨 넣은 것입니다. 그 결과 칩 한 개로 초당 약 1만 7천 토큰(글 조각)을 처리했습니다. 같은 모델을 일반 게임용 그래픽카드로 돌리면 초당 80개 수준이라 약 200배 이상 빠릅니다. 다만 아직 실험 단계이고, 제품으로 살 수는 없습니다.