marco-lu2508/fllm

Rust로만 만든 로컬 LLM 추론 엔진 fLLM이 Q2_K·Q3_K·IQ4_XS 양자화 공용 커널에 메모리 프리페치를 추가했다.

GitHub 설명: Local LLM inference engine in pure Rust: GGUF, OpenAI/Anthropic/Ollama-compatible API, CUDA (incl. NVFP4), Metal, Vulkan, CPU

스타

★ 0

포크

0

언어

Rust

라이선스

Apache-2.0