nvidia/flare-local-inference は、NVIDIA グラフィックスデバイス上でモデルを直接動かすローカル推論サーバーのリポジトリだ。長い会話やコーディングエージェント、繰り返しのツール利用を長時間維持できるように設計されている。2026 年 10 月 20 日に作成されたリポジトリで、タグ付きの公開リリースがないためバージョン番号は無い。
構成は二段階に分かれている。Python ベースの準備段階では PyTorch、Transformers、FlashInfer/b12x を使ってモデルを読み込み、カーネルを調整し、実行グラフ（モデル計算の順序）をキャプチャしてモデル実行ファイルを作成する。実際の提供は Python なしで動作する Rust ランタイムが担当する。つまり、モデルを準備する側は Python 環境に残し、リクエストを処理する側は Python なしで動かす。リポジトリにはモデルごとの実装とキャッシュ、スケジューラ、分散処理コード、そしてランタイムおよびモデル準備のテストが含まれている。SM120 と SM121 のグラフィックス処理デバイスを対象とし、会話状態と繰り返し状態をまとめて扱うことで、続き、分岐、再開を保持する。ライセンスは Apache-2.0、主言語の表記は Python、スター数は 139 だ。
ただし対象は選択された NVIDIA グラフィックスデバイスに限られ、性能の数値やベンチマークは示されていない。リポジトリのテストもランタイムとモデル準備段階に限られており、公開リリースがないため、検証の基準となるバージョンはまだ無い。研究記録のスコアは新鮮度 9.0、技術 9.0、品質 8.0、勢い 9.7 で、これはソースを読んで評価したものであり、独立した測定ではない。性能比較の資料が出るまで、このサーバーが既存のローカル推論環境において何を置き換えられるか判断するのは難しい。