github.devotd.
新发现推理与服务

deepseek-ai/deepinfer — 面向 DeepSeek-V4.1-Flash 的推理框架

deepseek-ai/deepinfer 是一个离线推理框架,明确将 DeepSeek-V4.1-Flash 列为支持目标。

仓库信息deepseek-ai/deepinfer ↗

deepseek-ai/deepinfer 是一个离线推理框架,明确将 DeepSeek-V4.1-Flash 列为支持目标。

GitHub 项目说明: DeepInfer: High-performance, large-scale inference framework for DeepSeek models

星标
★ 8.2K
复刻
684
语言
Python
许可证
Apache-2.0
查看原始来源 ↗在 GitHub 查看 ↗

deepseek-ai/deepinfer 是面向 DeepSeek 模型的离线推理框架。仓库 README 明确将 DeepSeek-V4.1-Flash 列为支持目标。FACTS 中没有最新发布信息,因此无法将其描述为某个特定版本的发布或改动。

该项目为运行 DeepSeek 模型推理提供执行路径与调度功能。README 列出的功能包括优化内核、数据并行注意力与专家并行、draft token 验证、异步批调度、确定性采样和结构化输出。draft token 验证(speculative verification)是一种对草稿生成的 token 进行校验的推理方式。文中还把 NVIDIA SM100 和华为昇腾 950 列为支持目标。这是一个 Python 项目,采用 Apache-2.0 许可证。

不过 README 说明,完整的服务部署还需要独立的关键值缓存、工作负载分离等功能。性能图表给出的测量环境是 SM100、prefill 4 个与 decode 64 个,但 FACTS 中并未确认复现步骤或独立测量结果。因此,与其仅凭这份资料判断性能优劣,不如区分针对特定模型的实现范围与尚未验证的性能依据。