Flyweight: open-source C++/CUDA engine for running MoE models bigger than your VRAM on one GPU + system RAM. First PyPI release, looking for contributors.
AI 모델 중 일부는 그래픽 카드 메모리보다 크기 때문에, 이 도구는 그런 모델을 실행할 수 있게 해줍니다. 사용자는 하나의 NVIDIA 카드와 많은 RAM으로 여러 AI 모델을 돌릴 수 있습니다. 예를 들어, Qwen 3.x 모델은 이 도구로 실행됩니다. 토큰당 처리 속도가 다르지만, 전체적으로는 빠르게 작동합니다.
AI 모델 중 일부는 그래픽 카드 메모리보다 크기 때문에, 이 도구는 그런 모델을 실행할 수 있게 해줍니다. 사용자는 하나의 NVIDIA 카드와 많은 RAM으로 여러 AI 모델을 돌릴 수 있습니다. 예를 들어, Qwen 3.x 모델은 이 도구로 실행됩니다. 토큰당 처리 속도가 다르지만, 전체적으로는 빠르게 작동합니다.
큰 모델을 로컬에서 돌리는 개발자라면 새 장비 없이 오늘 시험해볼 선택지가 생겼다
원문 읽기이어서 볼 것
이 글을 읽은 뒤 바로 이어볼 수 있는 추천
더 읽기로 감을 넓히고, 사례를 본 뒤, 필요하면 참여나 도구로 넘어가면 됩니다.
다음 행동
아직 댓글이 없습니다. 첫 댓글을 작성해보세요!