midagedev/bloomery

midagedev/bloomery の depth-serve スクリプトが、次のサーバーを起動する前に、前のサーバーのプロセスがプロセステーブルから消えるまで待つよう修正された。

GitHub の説明: Hybrid GPU + CPU inference for mixture-of-experts models, written in Rust down to the CUDA kernels. A drop-in llama-server.

スター

★ 26

フォーク

5

言語

Rust

ライセンス

MIT

最新リリース

v0.3.3