hikkian/shura.cpp

hikkian/shura.cpp는 MoE expert 캐시를 조절해 데스크톱과 게임이 함께 쓰는 GPU의 VRAM을 관리하는 llama.cpp 포크다.

GitHub 설명: Inference engine of Shura: a llama.cpp fork that shares one gaming GPU with your desktop. A VRAM governor for the MoE expert cache gives the card back in a fraction of a second; pause and resume when it cannot. MIT.

스타

★ 3

포크

0

언어

C++

라이선스

MIT