新发现
johnfink8/sfnx — 面向三块 PCIe V100 的 CUDA 推理引擎
johnfink8/sfnx 是一个把模型运算拆分到多块 PCIe 显卡上的推理引擎，其 README 公布了特定三块 V100 配置下的运行结果。
johnfink8/sfnx
johnfink8/sfnx 是一个把模型运算拆分到多块 PCIe 显卡上的推理引擎，其 README 公布了特定三块 V100 配置下的运行结果。
GitHub 项目说明: CUDA engine that splits every layer of a production quality MoE LLM across three PCIe V100 cards delivering 382 tok/s on a used $1,800 box.
在 GitHub 查看 ↗- 星标
- ★ 4
- 复刻
- 0
- 语言
- Python
- 许可证
- MIT
文章
1没有符合条件的动态。