magnitudedev/magnitude

Open source inference engine that tunes its kernels on your hardware to find the fastest way to run each model. 2x faster than Ollama. Works on Apple Silicon, NVIDIA, AMD, or just a CPU.

スター

★ 7K

フォーク

481

言語

Rust

ライセンス

Apache-2.0

最新リリース

@magnitudedev/cli@0.2.9