github.devotd.
发布推理与服务

valeriodolci/capy-flash v0.6.0 — 改进长对话显存与专家模块放置

valeriodolci/capy-flash v0.6.0 是一次改进长对话显存占用和专家模块放置的发布,并新增了短输入处理与可选的图像理解功能。

仓库信息valeriodolci/capy-flash ↗

Qwen3.8-Flash-Next (MoE, NVFP4) and Qwen3.8-27B on two 16 GB consumer GPUs: two-GPU tensor parallel, experts offloaded to CPU. Formerly ninfer-tp2.

星标
★ 50
复刻
11
语言
C++
许可证
Apache-2.0
最新版本
v0.6.0
查看原始来源 ↗在 GitHub 查看 ↗

valeriodolci/capy-flash 是一个在两张 16GB 消费级 GPU 上运行 Qwen3.8-Flash-Next(MoE、NVFP4)和 Qwen3.8-27B 的项目。GitHub 上发布的 v0.6.0 改进了长对话中的显存占用和专家模块放置。它还新增了短输入处理和可选的图像理解功能。这些都是该仓库新版本带来的变化。

该项目介绍了同时使用两张 GPU 的张量并行配置,以及将专家模块卸载到 CPU 的方式。仓库说明中列出的模型是 Qwen3.8-Flash-Next(MoE、NVFP4)和 Qwen3.8-27B,该项目此前名为 ninfer-tp2。本次发布摘要将长对话的显存占用和专家模块放置改进列为核心变更,并将短输入处理和可选的图像理解作为新增功能提出。具体实现细节以及各项功能的支持范围并未见于现有信息。

新处理方式的速度对比也已公开,但这些数字是项目方的自测结果,并非经过独立验证的数据。因此不能将其视为在其他环境中也能获得相同速度的依据。仓库说明给出的配置是两张 16GB 消费级 GPU,其他 GPU 配置下的结果未见于现有信息。本次变更的意义在于新增了长对话处理与专家放置,以及短输入和可选的图像理解功能;而速度对比在独立验证之前应仅作为项目方的结果来看待。

同领域的其他项目

本地推理引擎 ↗