hikkian/shura.cpp는 llama.cpp를 포크한 C++ 추론 엔진이다. README는 게임과 데스크톱이 함께 쓰는 그래픽 카드에서 MoE 모델을 실행하며 VRAM을 관리하는 기능을 설명한다. 최신 릴리스 버전은 제공된 기록에 없고, 라이선스는 MIT다. 저장소 설명과 README가 전하는 핵심은 llama-server 안의 VRAM governor다. 데스크톱이 메모리를 요구하면 MoE expert 캐시를 줄여 그래픽 메모리를 내어준다.
README에 따르면 16GB 게임용 그래픽카드에서 35B MoE를 실행하는 구성을 다룬다. 데스크톱의 여유 VRAM이 줄면 expert 캐시를 한 번에 축소한다. 긴 입력을 처리하는 prefill은 중단하고 롤백한 뒤 재개하는 방식이다. 이는 캐시만 줄이는 상황을 넘어 긴 입력 처리도 이어가도록 설계한 것이다. README는 AMD 그래픽 카드의 측정 결과를 공개하며, 제공된 연구 기록은 AMD gfx1101(ROCm)에서 검증했다고 밝힌다. 따라서 이 저장소가 제시하는 용도는 한 장의 GPU를 데스크톱과 추론 작업이 나눠 쓰는 환경이다.
다만 README는 CUDA 빌드의 측정 결과가 아직 없다고 밝힌다. 공개된 설명과 검증 근거는 AMD 그래픽 카드에 한정되어 있으므로, 다른 GPU에서 같은 동작과 성능을 기대할 근거는 부족하다. 특히 CUDA 환경의 결과는 제시되지 않아, 여러 GPU에서 사용할 수 있는 범용 VRAM 관리 기능으로 판단하기에는 이르다.