bitexploder/fnfl-v100 是一个 C++ 推理引擎,构建用于在 Tesla V100 GPU 上运行 Qwen Flash Next 3.8。它派生自 llama.cpp,仓库说明称代码是针对 V100 从头编写的。目标配置包括单 GPU 和多 GPU。目前没有关于最新发布版本的信息。
该引擎更侧重于特定的模型与 GPU 组合,而不是通用推理工具。根据仓库说明,它支持两种量化格式,并提供混合专家缓存和并发请求处理能力。混合专家(Mixture of Experts)是一种在多个专家模型中选取部分进行处理的结构,缓存则是保存所需专家以便快速复用的方式。它还支持图像输入,并包含在其他用户的生成进行期间读取长提示的功能。许可证为 MIT。README 中有构建与运行方法、按版本列出的变更点,以及注明硬件条件的性能对比表。
性能对比表列出的是仓库公开的测量结果,并非经过独立复现验证的结果。因此,把该表视为该仓库所述条件下的参考资料更为妥当。可确认的范围也仅限于针对 Qwen Flash Next 3.8 和 V100 的功能说明。文中并未给出依据说明在其他模型或硬件上也能期待相同结果。