85 GB DeepSeek-V4-Flash at ~3 tok/s on a 12 GB RTX 3060 + 64 GB DDR5 RAM - Overspill for FreeToken, inspired by Colibri
전체 요약
딥러닝 모델 중 일부는 메모리가 너무 커서 컴퓨터에 저장할 수 없는데, 이 기사는 그런 모델을 실행하는 새로운 방법이 나왔다고 합니다. 연구자가 개발한 '오버스pill'이라는 도구를 사용하면, 큰 모델도 디스크에서 읽어와서 처리할 수 있게 됩니다. 이렇게 하면 메모리가 부족한 컴퓨터에서도 더 많은 모델을 실험할 수 있게 됩니다.