introspective-diffusion/dlmrt 是面向块扩散语言模型的单请求推理引擎。块扩散语言模型不逐个生成 token,而是对整个 token 块进行去噪。dlmrt 把这一过程一次应用于一个请求。据仓库说明,它支持 QwenDLM、LLaDA2.1-mini 和 DiffusionGemma 检查点,并且是 On-Policy Residual Learning for Diffusion Language Models(ORL)的推理引擎。目前没有公开发布的版本。
实现的核心在于将整个去噪循环放在 GPU CUDA 图的条件节点中执行。主机侧的说明是启动一个块并读取结果 token。使用多张 GPU 时,通过融合的 NVLink reduction 进行张量并行,以避免主机同步。其中还包含利用 Triton 与 DeepGEMM 的程序化依赖执行实现的重叠执行方式。它提供 FP8 块缩放投影和 Blackwell NVFP4 expert 路径,可在单张 GPU 或 NVLink 节点上运行。还提供 HTTP 服务器和 HumanEval 基准测试工具。这是一个采用 Apache-2.0 许可证的 Cuda 项目。
性能数值难以作为判断依据。TPS 与轮次延迟表是项目自行报告的数值,测试套件则用于确认数值是否与参考实现一致。因此,仅凭这份资料无法验证实际的吞吐量或延迟表现。由于也没有公开发布的版本,目前能够确认的范围仅限于面向块扩散模型的推理结构及其实现。