wici-ai/inferssd

介绍基于 llama.cpp 的 InferSSD 的 SSD 流式方式，以及 README 中列出的模型与接入支持范围。

GitHub 项目说明: Run models larger than your RAM or VRAM by streaming MoE experts from SSD. Built on llama.cpp.

星标

★ 160

复刻

27

语言

C++

许可证

Apache-2.0

最新版本

v0.1.1