hikkian/shura.cpp

hikkian/shura.cpp は llama.cpp のフォークで、MoE expert キャッシュを調整し、デスクトップとゲームが共有する GPU の VRAM を管理する。

GitHub の説明: Inference engine of Shura: a llama.cpp fork that shares one gaming GPU with your desktop. A VRAM governor for the MoE expert cache gives the card back in a fraction of a second; pause and resume when it cannot. MIT.

スター

★ 3

フォーク

0

言語

C++

ライセンス

MIT