introspective-diffusion/dlmrt는 블록 확산 언어 모델을 위한 단일 요청 추론 엔진이다. 블록 확산 언어 모델은 토큰을 하나씩 생성하는 대신 토큰 블록 전체를 디노이징한다. dlmrt는 이 과정을 한 번에 하나의 요청에 적용한다. 저장소 설명에 따르면 QwenDLM, LLaDA2.1-mini, DiffusionGemma 체크포인트를 지원하며, On-Policy Residual Learning for Diffusion Language Models(ORL)의 추론 엔진이다. 공개된 최신 릴리스 버전은 없다.
구현의 중심은 디노이징 루프 전체를 GPU CUDA 그래프의 조건 노드에서 실행하는 방식이다. 호스트는 블록 하나를 시작하고 결과 토큰을 읽는 구조로 설명돼 있다. 여러 GPU를 쓰는 경우 텐서 병렬 처리를 융합 NVLink reduction으로 수행해 호스트 동기화를 피한다. Triton과 DeepGEMM의 프로그램적 의존 실행을 이용한 겹쳐 실행 방식도 포함한다. FP8 블록 스케일 투영과 Blackwell NVFP4 expert 경로가 있으며, 단일 GPU 또는 NVLink 노드에서 실행할 수 있다. HTTP 서버와 HumanEval 벤치마크 도구도 제공한다. Apache-2.0 라이선스의 Cuda 프로젝트다.
성능 수치는 판단 근거로 삼기 어렵다. TPS와 라운드 지연 표는 프로젝트가 보고한 값이며, 테스트 스위트는 참고 구현과 수치가 일치하는지 확인하는 용도다. 따라서 이 자료만으로 실제 처리량이나 지연 성능을 검증할 수는 없다. 공개된 릴리스도 없어, 현재 확인할 수 있는 범위는 블록 확산 모델 전용 추론 구조와 그 구현에 한정된다.