marco-lu2508/fllm

Rust だけで書かれたローカル LLM 推論エンジン fLLM が、Q2_K·Q3_K·IQ4_XS 量子化フォーマット共通のカーネルにメモリプリフェッチを追加した。

GitHub の説明: Local LLM inference engine in pure Rust: GGUF, OpenAI/Anthropic/Ollama-compatible API, CUDA (incl. NVFP4), Metal, Vulkan, CPU

投稿

新着11月7日

Rust だけで書かれたローカル LLM 推論エンジン fLLM が、Q2_K·Q3_K·IQ4_XS 量子化フォーマット共通のカーネルにメモリプリフェッチを追加した。