wici-ai/inferssd

llama.cpp 기반 InferSSD의 SSD 스트리밍 방식과 README에 적힌 모델·접속 지원 범위를 소개한다.

GitHub 설명: Run models larger than your RAM or VRAM by streaming MoE experts from SSD. Built on llama.cpp.

스타

★ 160

포크

27

언어

C++

라이선스

Apache-2.0

최신 릴리스

v0.1.1