新着
magnitudedev/magnitude — ハードウェアに合わせたローカル推論エンジン
magnitudedev/magnitude は、ハードウェアに合わせてカーネルをチューニングし、モデル推論に用いる Rust ベースのオープンソースエンジンです。
プロジェクト
magnitudedev/magnitude
Open source inference engine that tunes its kernels on your hardware to find the fastest way to run each model. 2x faster than Ollama. Works on Apple Silicon, NVIDIA, AMD, or just a CPU.
GitHub で見る ↗- スター
- ★ 7K
- フォーク
- 481
- 言語
- Rust
- ライセンス
- Apache-2.0
- 最新リリース
- @magnitudedev/cli@0.2.9
投稿
1該当するニュースはありません。