marco-lu2508/fllm

完全用 Rust 编写的本地 LLM 推理引擎 fLLM，为 Q2_K·Q3_K·IQ4_XS 量化格式的共用内核添加了内存预取。

GitHub 项目说明: Local LLM inference engine in pure Rust: GGUF, OpenAI/Anthropic/Ollama-compatible API, CUDA (incl. NVFP4), Metal, Vulkan, CPU

星标

★ 0

复刻

0

语言

Rust

许可证

Apache-2.0