leonccaa/revolta

leonccaa/revolta v0.1.5 は、DFlash2 のプロンプト再利用キャッシュの適用範囲と、モデルローダーのインデックス断片の読み込みを修正したリリースです。

GitHub の説明: Stable, high-throughput inference server for multi-GPU NVIDIA V100 (SM70): Qwen3.8 Flash-Next with AWQ / NVFP4, multimodal input, CPU/disk KV offload, and MTP or DFlash2 speculative decoding.

スター

★ 20

フォーク

2

言語

Python

ライセンス

Apache-2.0

最新リリース

v0.1.5