Flyweight: open-source C++/CUDA engine for running MoE models bigger than your VRAM on one GPU + system RAM. First PyPI release, looking for contributors.
전체 요약
AI 모델 중 일부는 그래픽 카드 메모리보다 크기 때문에, 이 도구는 그런 모델을 실행할 수 있게 해줍니다. 사용자는 하나의 NVIDIA 카드와 많은 RAM으로 여러 AI 모델을 돌릴 수 있습니다. 예를 들어, Qwen 3.x 모델은 이 도구로 실행됩니다. 토큰당 처리 속도가 다르지만, 전체적으로는 빠르게 작동합니다.