midagedev/bloomery

midagedev/bloomery 的 depth-serve 脚本被修改为：在启动下一个服务器之前，等待上一个服务器的进程从进程表中消失。

GitHub 项目说明: Hybrid GPU + CPU inference for mixture-of-experts models, written in Rust down to the CUDA kernels. A drop-in llama-server.

星标

★ 26

复刻

5

语言

Rust

许可证

MIT

最新版本

v0.3.3