hikkian/shura.cpp 是一个从 llama.cpp 分支而来的 C++ 推理引擎。README 介绍了在游戏与桌面共用显卡上运行 MoE 模型并管理 VRAM 的功能。提供的记录中没有最新的发布版本，许可证为 MIT。仓库描述和 README 所传达的核心是 llama-server 内部的 VRAM 调节器：当桌面需要内存时，它会缩减 MoE expert 缓存，把显存让出来。
据 README，它讨论了在 16GB 游戏显卡上运行 35B MoE 的配置。当桌面的空闲 VRAM 减少时，它会一次性缩小 expert 缓存。处理长输入的 prefill 会被中断并回滚，然后再继续。这不只是缩小缓存的情形，还旨在让长输入处理也能持续进行。README 公开了 AMD 显卡的测量结果，提供的研究记录称已在 AMD gfx1101(ROCm) 上验证。因此，该仓库提出的用途是一个单张 GPU 由桌面与推理任务共同使用的环境。
不过 README 说明，CUDA 构建目前还没有测量结果。公开的说明与验证依据仅限于 AMD 显卡，因此没有足够依据期待在其他 GPU 上有相同的表现和性能。尤其是没有给出 CUDA 环境的结果，若要把它视为可用于多种 GPU 的通用 VRAM 管理功能，还为时尚早。