新发现
magnitudedev/magnitude — 针对硬件定制的本地推理引擎
magnitudedev/magnitude 是一个基于 Rust 的开源引擎，会针对硬件调优内核并将其用于模型推理。
项目
magnitudedev/magnitude
Open source inference engine that tunes its kernels on your hardware to find the fastest way to run each model. 2x faster than Ollama. Works on Apple Silicon, NVIDIA, AMD, or just a CPU.
在 GitHub 查看 ↗- 星标
- ★ 7K
- 复刻
- 481
- 语言
- Rust
- 许可证
- Apache-2.0
- 最新版本
- @magnitudedev/cli@0.2.9
文章
1没有符合条件的动态。