Devotd Github
发布推理与服务

leonccaa/revolta v0.1.5 — DFlash2 缓存与模型加载器修复

leonccaa/revolta v0.1.5 是一次发布,修复了 DFlash2 的提示词复用缓存范围以及模型加载器的索引分片读取。

仓库信息leonccaa/revolta ↗

leonccaa/revolta v0.1.5 是一次发布,修复了 DFlash2 的提示词复用缓存范围以及模型加载器的索引分片读取。

GitHub 项目说明: Stable, high-throughput inference server for multi-GPU NVIDIA V100 (SM70): Qwen3.8 Flash-Next with AWQ / NVFP4, multimodal input, CPU/disk KV offload, and MTP or DFlash2 speculative decoding.

星标
★ 20
复刻
2
语言
Python
许可证
Apache-2.0
最新版本
v0.1.5
查看原始来源 ↗在 GitHub 查看 ↗

leonccaa/revolta 是一个面向多块 NVIDIA V100(SM70) GPU 的推理服务器。根据 GitHub 上的 v0.1.5 发布说明,本次版本修复了 DFlash2 在复用提示词时未覆盖完整缓存前缀的问题,同时也修复了模型加载器此前会跳过的索引分片读取。发布说明指出,大整数工具参数的准确性得以保持。这些改动涉及提示词复用路径、模型加载路径以及工具参数处理的准确性。

仓库说明称其面向 Qwen3.8 Flash-Next,并将 AWQ 和 NVFP4 列为支持的格式。它可以接收多模态输入,也包含将 KV 缓存卸载到 CPU 或磁盘的功能。说明中还提到推测解码支持 MTP 或 DFlash2 路径。因此,该仓库被介绍为一个在 V100 环境中为该模型提供推理、并提供多种内存与解码路径的服务器。v0.1.5 的核心并不是新增这份完整的功能清单,而是发布说明中明确列出的复用缓存与索引加载问题的修复。

所提供的信息中没有吞吐量或延迟的测量数据,也没有与其他 GPU 的对比结果。同样也没有给出许可证,因此无法在此判断分发条件。发布说明所明确的是修复项以及对大整数工具参数准确性的保持,而改进幅度以及在实际使用环境中的效果尚未确认。因此,更准确的说法是:v0.1.5 是在公开的改动范围内对缓存复用与模型加载进行打磨的一次更新。