85 GB DeepSeek-V4-Flash at ~3 tok/s on a 12 GB RTX 3060 + 64 GB DDR5 RAM - Overspill for FreeToken, inspired by Colibri
85GB짜리 큰 모델을 게이밍용 그래픽카드에서 돌리는 오픈소스 도구가 나왔다
작은 GPU로 큰 모델을 직접 돌려보고 싶다면 오늘 시도해볼 선택지가 하나 늘었다
딥러닝 모델 중 일부는 메모리가 너무 커서 컴퓨터에 저장할 수 없는데, 이 기사는 그런 모델을 실행하는 새로운 방법이 나왔다고 합니다. 연구자가 개발한 '오버스pill'이라는 도구를 사용하면, 큰 모델도 디스크에서 읽어와서 처리할 수 있게 됩니다. 이렇게 하면 메모리가 부족한 컴퓨터에서도 더 많은 모델을 실험할 수 있게 됩니다.
작은 GPU로 큰 모델을 직접 돌려보고 싶다면 오늘 시도해볼 선택지가 하나 늘었다
원문 읽기이어서 볼 것
이 글을 읽은 뒤 바로 이어볼 수 있는 추천
더 읽기로 감을 넓히고, 사례를 본 뒤, 필요하면 참여나 도구로 넘어가면 됩니다.
다음 행동
아직 댓글이 없습니다. 첫 댓글을 작성해보세요!