Devotd Github
新着推論・サービング

introspective-diffusion/dlmrt — ブロック拡散言語モデルの推論エンジン

introspective-diffusion/dlmrt は、ブロック拡散言語モデルを 1 件ずつ処理する推論エンジンで、デノイジングのループを GPU 上で実行する構成を備えている。

リポジトリ情報introspective-diffusion/dlmrt ↗

introspective-diffusion/dlmrt は、ブロック拡散言語モデルを 1 件ずつ処理する推論エンジンで、デノイジングのループを GPU 上で実行する構成を備えている。

GitHub の説明: dlmrt: a single-request inference engine for block-diffusion language models

スター
★ 16
フォーク
2
言語
Cuda
ライセンス
Apache-2.0
原文を見る ↗GitHub で見る ↗

introspective-diffusion/dlmrt は、ブロック拡散言語モデル向けの単一リクエスト推論エンジンである。ブロック拡散言語モデルはトークンを 1 つずつ生成するのではなく、トークンブロック全体をデノイジングする。dlmrt はこの過程を一度に 1 件のリクエストに適用する。リポジトリの説明によれば、QwenDLM、LLaDA2.1-mini、DiffusionGemma のチェックポイントに対応しており、On-Policy Residual Learning for Diffusion Language Models(ORL)の推論エンジンである。公開されているリリース版はない。

実装の中心は、デノイジングのループ全体を GPU の CUDA グラフの条件ノードで実行する方式にある。ホスト側は、ブロックを 1 つ開始して結果のトークンを読み取る構成として説明されている。複数 GPU を使う場合は、融合 NVLink reduction によるテンソル並列実行でホスト同期を回避する。Triton と DeepGEMM のプログラム依存実行を利用したオーバーラップ実行方式も含む。FP8 ブロックスケール射影と Blackwell NVFP4 expert パスがあり、単一 GPU または NVLink ノードで実行できる。HTTP サーバーと HumanEval ベンチマークツールも提供する。Apache-2.0 ライセンスの Cuda プロジェクトである。

性能の数値は判断根拠として捉えにくい。TPS とラウンドレイテンシの表はプロジェクト側が報告した値であり、テストスイートは数値が参照実装と一致するかを確認する用途である。そのため、この資料だけでは実際のスループットやレイテンシ的性能は検証できない。公開リリースもないため、現時点で確認できるのはブロック拡散モデル専用の推論構造とその実装に限られる。