新发现
b4rtaz/distributed-llama v0.16.5 — 汇聚家用设备的分布式推理引擎
b4rtaz/distributed-llama 是一个 C++ 引擎，通过 Ethernet 把家用 PC 与 Raspberry Pi 串联起来，以张量并行方式对 LLM 进行分布式推理；GitHub 上的最新版本是 v0.16.5。
b4rtaz/distributed-llama
b4rtaz/distributed-llama 是一个 C++ 引擎，通过 Ethernet 把家用 PC 与 Raspberry Pi 串联起来，以张量并行方式对 LLM 进行分布式推理；GitHub 上的最新版本是 v0.16.5。
GitHub 项目说明: Distributed LLM inference. Connect home devices into a powerful cluster to accelerate LLM inference. More devices means faster inference.
在 GitHub 查看 ↗- 星标
- ★ 3.1K
- 复刻
- 261
- 语言
- C++
- 许可证
- MIT
- 最新版本
- v0.16.5
文章
1没有符合条件的动态。