Devotd Github
新发现推理与服务

introspective-diffusion/dlmrt — 块扩散语言模型推理引擎

introspective-diffusion/dlmrt 是一个逐个处理块扩散语言模型的推理引擎,其结构把去噪循环放在 GPU 上执行。

仓库信息introspective-diffusion/dlmrt ↗

introspective-diffusion/dlmrt 是一个逐个处理块扩散语言模型的推理引擎,其结构把去噪循环放在 GPU 上执行。

GitHub 项目说明: dlmrt: a single-request inference engine for block-diffusion language models

星标
★ 16
复刻
2
语言
Cuda
许可证
Apache-2.0
查看原始来源 ↗在 GitHub 查看 ↗

introspective-diffusion/dlmrt 是面向块扩散语言模型的单请求推理引擎。块扩散语言模型不逐个生成 token,而是对整个 token 块进行去噪。dlmrt 把这一过程一次应用于一个请求。据仓库说明,它支持 QwenDLM、LLaDA2.1-mini 和 DiffusionGemma 检查点,并且是 On-Policy Residual Learning for Diffusion Language Models(ORL)的推理引擎。目前没有公开发布的版本。

实现的核心在于将整个去噪循环放在 GPU CUDA 图的条件节点中执行。主机侧的说明是启动一个块并读取结果 token。使用多张 GPU 时,通过融合的 NVLink reduction 进行张量并行,以避免主机同步。其中还包含利用 Triton 与 DeepGEMM 的程序化依赖执行实现的重叠执行方式。它提供 FP8 块缩放投影和 Blackwell NVFP4 expert 路径,可在单张 GPU 或 NVLink 节点上运行。还提供 HTTP 服务器和 HumanEval 基准测试工具。这是一个采用 Apache-2.0 许可证的 Cuda 项目。

性能数值难以作为判断依据。TPS 与轮次延迟表是项目自行报告的数值,测试套件则用于确认数值是否与参考实现一致。因此,仅凭这份资料无法验证实际的吞吐量或延迟表现。由于也没有公开发布的版本,目前能够确认的范围仅限于面向块扩散模型的推理结构及其实现。