fronteagle739/streaming-llama-stack は llama.cpp のフォークを基盤とした C 言語の推論スタックだ。README では、NVMe から重みをストリーミングし、RTX 5090 の 32 GiB のグラフィックメモリで 483 GiB 規模のモデルを実行する構成を説明している。リポジトリ説明も、高速 SSD アレイを活用する低メモリシステム向けのストリーミング・分散推論を用途として挙げている。今回紹介するのはリポジトリの README に示された構成と機能であり、FACTS に公開された正式リリース版は存在しない。
この構成は、モデル重み全体をグラフィックメモリに載せる代わりに NVMe からストリーミングすることで、大規模モデルの推論を扱う。README には、プロンプトを処理するストリーミング prefill と、DeepSeek V4.1 Flash 用のデコードカーネルが記載されている。OpenAI 互換 API と MCP ツール、ウェブインターフェースも含まれている。オプションとして、Mac Studio と prefill・decode の作業を分担する構成も説明されている。したがって、単一の推論カーネルではなく、実行経路と呼び出し手段をまとめてまとめたスタックに近い。ライセンスは MIT で、リポジトリの言語は C と表示されている。
README の性能表はテキストベースの測定結果と機器構成を併せて提示し、ネットワーク接続とメモリの制約も公開している。これは特定構成についての記録であり、別の機器で同じ結果が出るという根拠ではない。リポジトリは 2026-10-25 に作成され、FACTS に記録されたスター数は 6 個だ。正式リリースも登録されていない。README が実験的な構成として説明しているとおり、現時点で確認できる範囲は提示された実行経路と測定環境までである。