Devotd Github
새 소식추론/서빙

1115714829/llama.cpp-v100 — V100용 llama.cpp 파생선

NVIDIA Tesla V100에 맞춘 llama.cpp 파생선의 지원 범위와 최신 릴리스 정보를 정리한다.

저장소 정보1115714829/llama.cpp-v100 ↗

NVIDIA Tesla V100에 맞춘 llama.cpp 파생선의 지원 범위와 최신 릴리스 정보를 정리한다.

GitHub 설명: llama.cpp optimized for NVIDIA Tesla V100 (SM70): Qwen3.8-Flash-Next with MTP (prefill 3402 tok/s at 200K context on 6x V100-16GB; also runs on 2x V100-16GB) and Qwen3.8-27B with DFlash2 (decode up to 220 tok/s); 2-6 GPUs, 262K-512K context, multimodal, concurrent serving, built-in web UI.

스타
★ 61
포크
13
언어
C++
라이선스
GPL-3.0
최신 릴리스
v100-2.0.1.1
원문 보기 ↗GitHub에서 보기 ↗

1115714829/llama.cpp-v100은 NVIDIA Tesla V100(SM70)에 맞춰 llama.cpp의 계산 커널과 런타임을 수정·최적화한 프로젝트다. 제공된 FACTS에서 확인되는 최신 릴리스는 v100-2.0.1.1이다. 다만 이 버전에서 새로 바뀐 구체적인 항목은 주어지지 않았다. 저장소 설명에는 다중 GPU 실행과 장문맥 처리, 멀티모달 처리, 동시 서빙, 내장 웹 UI가 지원 범위로 적혀 있다.

이 파생선은 공개 GGUF 가중치와 양자화 형식을 바꾸지 않고 V100에서 여러 추론 경로를 제공하는 데 초점을 둔다. 설명에 따르면 Qwen3.8-Flash-Next는 V100-16GB 6장 구성에서 200K 문맥 프리필 3402 tok/s를 기록하며, 2장 구성에서도 실행된다. Qwen3.8-27B는 DFlash2 추측 디코딩으로 최대 220 tok/s 디코딩을 지원한다고 소개된다. 추측 디코딩은 다음 토큰 후보를 먼저 만들고 검증하는 방식이다. 저장소는 GPU 2~6장과 262K~512K 문맥을 지원한다고 밝힌다.

이 수치는 저장소 설명에 적힌 V100 구성의 결과이며, 다른 GPU에서의 성능을 보여주지는 않는다. 또한 최신 릴리스 번호는 확인되지만 v100-2.0.1.1의 변경 내역은 주어진 정보에 없다. 따라서 이 자료만으로는 해당 버전의 개선 폭이나 다른 GPU와의 성능 차이를 판단하기 어렵다.