algebra-mcx/mini-deepinfer は、DeepInfer 推論エンジンの中心的な設計を読みやすく再実装したリポジトリだ。約 2,000 行の PyTorch で構成され、リクエストがキューに入ってからのトークン生成までの流れを追い、書き換えて試せる作りになっている。元の DeepInfer は複数 GPU とカスタムカーネルを使うが、この実装は規模に紐づいた部分を減らしており、1 枚の GPU でも構造を 살펴볼ことができる。Python で書かれ、ライセンスは Apache-2.0。FACTS によれば 2026 年 10 月 23 日に作成され、最新リリースはない。
要点は、リクエスト処理の経路を構成要素ごとに示すことにある。KV キャッシュをページ型ブロックとして管理し、入力の初期処理にあたるプリフィル (prefill) と次のトークンを生成するデコード (decode) のスケジューリングを分けている。実行中の作業を中断するプリエンプション (preemption) と、決定論的サンプリングも含まれている。README はこの構成を DeepSeek-V4.1 系と結び付けて説明し、公式のリファレンス実装とトークン単位の挙動を対照している。したがって、フォーカスは推論を単純に呼び出すことではなく、ランタイムがリクエストを処理する順序と各段階の役割を調べ려는読者にある。
性能の数値は、README が示すとおり、特定のハードウェアと測定条件に限定された結果である。CPU テストと GPU 依存のテストは区別され、GPUがないためスキップされたテストを合格と見なさないlest 旨の案内もある。そのため、この資料だけから他の環境での性能を判断するのは難しい。このリポジトリの強みは、性能優位を証明することではなく、DeepInfer ランタイムの主要な経路を読んで対照できるようにすることにある。