hikkian/shura.cpp は llama.cpp をフォークした C++ 推論エンジンである。README は、ゲームとデスクトップが共有するグラフィックスカードで MoE モデルを実行しながら VRAM を管理する機能を説明している。提供された記録には最新リリースのバージョンが示されておらず、ライセンスは MIT である。リポジトリの説明と README が伝える核心は llama-server 内の VRAM ガバナーだ。デスクトップがメモリを要求すると、MoE expert キャッシュを縮小してグラフィックスメモリを返す。
README によると、16GB のゲーム用グラフィックスカードで 35B MoE を実行する構成を扱う。デスクトップの空き VRAM が減ると、expert キャッシュを一括で縮小する。長い入力を扱う prefill は中断してロールバックし、その後再開する。これはキャッシュを縮小するだけの状況にとどまらず、長い入力の処理も継続できるように設計されている。README は AMD グラフィックスカードの測定結果を公開しており、提供された研究記録は AMD gfx1101(ROCm) で検証したと述べている。したがって、このリポジトリが提示する用途は、1 枚の GPU をデスクトップと推論作業で分けて使う環境である。
ただし README は、CUDA ビルドの測定結果はまだないことを明かしている。公開されている説明と検証の根拠は AMD グラフィックスカードに限られているため、他の GPU で同じ挙動と同じ性能が得られると判断する根拠は不足している。特に CUDA 環境の結果は示されておらず、複数 GPU で使える汎用的な VRAM 管理機能とみなすのは早い。