프로젝트

magnitudedev/magnitude

Open source inference engine that tunes its kernels on your hardware to find the fastest way to run each model. 2x faster than Ollama. Works on Apple Silicon, NVIDIA, AMD, or just a CPU.

GitHub에서 보기 ↗

스타: ★ 7K
포크: 481
언어: Rust
라이선스: Apache-2.0
최신 릴리스: @magnitudedev/cli@0.2.9

게시물

새 소식OCT 16

magnitudedev/magnitude — 하드웨어 맞춤형 로컬 추론 엔진

magnitudedev/magnitude는 하드웨어에 맞춰 커널을 튜닝해 모델 추론에 사용하는 Rust 기반 오픈소스 엔진이다.

magnitudedev/magnitude 추론/서빙Rust