hikkian/shura.cpp

hikkian/shura.cpp 是 llama.cpp 的一个分支，通过调节 MoE expert 缓存来管理由桌面与游戏共用的 GPU 的 VRAM。

GitHub 项目说明: Inference engine of Shura: a llama.cpp fork that shares one gaming GPU with your desktop. A VRAM governor for the MoE expert cache gives the card back in a fraction of a second; pause and resume when it cannot. MIT.

星标

★ 3

复刻

0

语言

C++

许可证

MIT