Devotd Github
新着推論・サービング

1115714829/llama.cpp-v100 — V100 向け llama.cpp フォーク

NVIDIA Tesla V100 に合わせた llama.cpp フォークの対応範囲と最新リリース情報を整理する。

リポジトリ情報1115714829/llama.cpp-v100 ↗

NVIDIA Tesla V100 に合わせた llama.cpp フォークの対応範囲と最新リリース情報を整理する。

GitHub の説明: llama.cpp optimized for NVIDIA Tesla V100 (SM70): Qwen3.8-Flash-Next with MTP (prefill 3402 tok/s at 200K context on 6x V100-16GB; also runs on 2x V100-16GB) and Qwen3.8-27B with DFlash2 (decode up to 220 tok/s); 2-6 GPUs, 262K-512K context, multimodal, concurrent serving, built-in web UI.

スター
★ 61
フォーク
13
言語
C++
ライセンス
GPL-3.0
最新リリース
v100-2.0.1.1
原文を見る ↗GitHub で見る ↗

1115714829/llama.cpp-v100 は、NVIDIA Tesla V100(SM70)に合わせて llama.cpp の計算カーネルとランタイムを改変・最適化したプロジェクトである。提供された FACTS で確認できる最新リリースは v100-2.0.1.1 である。ただし、このバージョンで新たに変更された具体的な項目は示されていない。リポジトリの説明には、マルチ GPU 実行、長コンテキスト処理、マルチモーダル処理、同時サービング、組み込み Web UI が対応範囲として記載されている。

このフォークは、公開されている GGUF ウェイトや量子化形式を変えずに V100 で複数の推論パスを提供することに重点を置いている。説明によれば、Qwen3.8-Flash-Next は V100-16GB 6 枚構成で 200K コンテキストのプリフィル 3402 tok/s を記録し、2 枚構成でも動作する。Qwen3.8-27B は DFlash2 の投機的デコードにより最大 220 tok/s のデコードに対応すると紹介されている。投機的デコードは、次のトークンの候補をまず生成してから検証する方式である。リポジトリは GPU 2~6 枚と 262K~512K のコンテキストをサポートすると示している。

これらの数値はリポジトリの説明に記載された V100 構成における結果であり、他の GPU での性能を示すものではない。また、最新リリース番号は確認できるものの、v100-2.0.1.1 の変更履歴は提示された資料には含まれていない。そのため、この資料だけでは当該バージョンの改善幅や他の GPU との性能差を判断しにくい。