새 소식
1115714829/llama.cpp-v100 — V100용 llama.cpp 파생선
NVIDIA Tesla V100에 맞춘 llama.cpp 파생선의 지원 범위와 최신 릴리스 정보를 정리한다.
NVIDIA Tesla V100에 맞춘 llama.cpp 파생선의 지원 범위와 최신 릴리스 정보를 정리한다.
GitHub 설명: llama.cpp optimized for NVIDIA Tesla V100 (SM70): Qwen3.8-Flash-Next with MTP (prefill 3402 tok/s at 200K context on 6x V100-16GB; also runs on 2x V100-16GB) and Qwen3.8-27B with DFlash2 (decode up to 220 tok/s); 2-6 GPUs, 262K-512K context, multimodal, concurrent serving, built-in web UI.
GitHub에서 보기 ↗NVIDIA Tesla V100에 맞춘 llama.cpp 파생선의 지원 범위와 최신 릴리스 정보를 정리한다.
조건에 맞는 소식이 없습니다.