Devotd Github

1115714829/llama.cpp-v100

NVIDIA Tesla V100에 맞춘 llama.cpp 파생선의 지원 범위와 최신 릴리스 정보를 정리한다.

GitHub 설명: llama.cpp optimized for NVIDIA Tesla V100 (SM70): Qwen3.8-Flash-Next with MTP (prefill 3402 tok/s at 200K context on 6x V100-16GB; also runs on 2x V100-16GB) and Qwen3.8-27B with DFlash2 (decode up to 220 tok/s); 2-6 GPUs, 262K-512K context, multimodal, concurrent serving, built-in web UI.

GitHub에서 보기 ↗
스타
★ 61
포크
13
언어
C++
라이선스
GPL-3.0
최신 릴리스
v100-2.0.1.1

게시물

1