introspective-diffusion/dlmrt は、ブロック拡散言語モデル向けの単一リクエスト推論エンジンである。ブロック拡散言語モデルはトークンを 1 つずつ生成するのではなく、トークンブロック全体をデノイジングする。dlmrt はこの過程を一度に 1 件のリクエストに適用する。リポジトリの説明によれば、QwenDLM、LLaDA2.1-mini、DiffusionGemma のチェックポイントに対応しており、On-Policy Residual Learning for Diffusion Language Models(ORL)の推論エンジンである。公開されているリリース版はない。
実装の中心は、デノイジングのループ全体を GPU の CUDA グラフの条件ノードで実行する方式にある。ホスト側は、ブロックを 1 つ開始して結果のトークンを読み取る構成として説明されている。複数 GPU を使う場合は、融合 NVLink reduction によるテンソル並列実行でホスト同期を回避する。Triton と DeepGEMM のプログラム依存実行を利用したオーバーラップ実行方式も含む。FP8 ブロックスケール射影と Blackwell NVFP4 expert パスがあり、単一 GPU または NVLink ノードで実行できる。HTTP サーバーと HumanEval ベンチマークツールも提供する。Apache-2.0 ライセンスの Cuda プロジェクトである。
性能の数値は判断根拠として捉えにくい。TPS とラウンドレイテンシの表はプロジェクト側が報告した値であり、テストスイートは数値が参照実装と一致するかを確認する用途である。そのため、この資料だけでは実際のスループットやレイテンシ的性能は検証できない。公開リリースもないため、現時点で確認できるのはブロック拡散モデル専用の推論構造とその実装に限られる。