Devotd Github
リリース推論・サービング

leonccaa/revolta v0.1.5 — DFlash2 キャッシュとモデルローダーの修正

leonccaa/revolta v0.1.5 は、DFlash2 のプロンプト再利用キャッシュの適用範囲と、モデルローダーのインデックス断片の読み込みを修正したリリースです。

リポジトリ情報leonccaa/revolta ↗

leonccaa/revolta v0.1.5 は、DFlash2 のプロンプト再利用キャッシュの適用範囲と、モデルローダーのインデックス断片の読み込みを修正したリリースです。

GitHub の説明: Stable, high-throughput inference server for multi-GPU NVIDIA V100 (SM70): Qwen3.8 Flash-Next with AWQ / NVFP4, multimodal input, CPU/disk KV offload, and MTP or DFlash2 speculative decoding.

スター
★ 20
フォーク
2
言語
Python
ライセンス
Apache-2.0
最新リリース
v0.1.5
原文を見る ↗GitHub で見る ↗

leonccaa/revolta は、複数の NVIDIA V100(SM70) GPU を対象とする推論サーバーです。GitHub の v0.1.5 リリースノートによると、今回のバージョンでは DFlash2 がプロンプトを再利用するときにキャッシュ接頭辞全体に触れるよう修正されました。モデルローダーがスキップしていたインデックスの断片も読み込むように修正されています。リリース説明では、大きな整数のツール引数の精度が維持されると述べています。今回の変更は、プロンプト再利用経路、モデル読み込み経路、そしてツール引数処理の精度に関する修正です。

リポジトリの説明は Qwen3.8 Flash-Next を対象とし、AWQ と NVFP4 を対応形式として示しています。多モーダル入力を受け取ることができ、KV キャッシュを CPU やディスクへオフロードする機能も含まれます。推測デコードは MTP または DFlash2 経路に対応すると説明しています。したがって、このリポジトリは V100 環境で当該モデルの推論と複数のメモリ・デコード経路を提供するサーバーとして紹介されます。v0.1.5 の中心は、この機能一覧の新規追加ではなく、リリースノートに明記された再利用キャッシュとインデックス読み込みの問題の修正です。

提供された情報にはスループットやレイテンシの測定値、他の GPU との比較結果はありません。ライセンスも示されていないため、配布条件はここでは判断できません。リリースノートが示しているのは修正項目と、大きな整数のツール引数の精度の維持であり、改善幅や実際の使用環境での効果までは確認されていません。したがって、v0.1.5 は公開された変更範囲の中でキャッシュ再利用とモデル読み込みを整備したアップデートと捉えるのが適切です。