midagedev/bloomery

midagedev/bloomery의 depth-serve 스크립트가 다음 서버를 띄우기 전에 이전 서버의 프로세스가 프로세스 테이블에서 사라질 때까지 기다리도록 수정했다.

GitHub 설명: Hybrid GPU + CPU inference for mixture-of-experts models, written in Rust down to the CUDA kernels. A drop-in llama-server.

스타

★ 26

포크

5

언어

Rust

라이선스

MIT

최신 릴리스

v0.3.3