lateos-ai/reflex の最新リリースは v0.2.9-runpod-hub だ。このリポジトリは GGUF モデルを扱う Rust/CUDA 推論エンジンで、エージェントのリアルタイム意思決定のように応答を速く必要がある場面のコールドスタート遅延を狙う。このバージョンで何が変わったかは、提供された資料には書かれていない。README は Tesla T4 で Qwen3-0.6B-Q4_K_M を使った計測として、プロセス開始から採点結果まで 483 ミリ秒（p50、n=10）を示している。これはエンジン内部のタイマー基準であり、プロセスの外で測ると OS の読み込み約 110 ミリ秒を含めて約 0.6 秒になると説明している。
このエンジンは、リクエストを集めてスループットを上げるサーバーではなく、単一のエージェントが判断する短い経路に重点を置く。CUDA カーネルは nvcc で事前コンパイルしてバイナリに同梱するため、実行時の JIT コンパイルはない。スケジューラもバッチングもない単一テナント構造で、HTTP 機能はエンジンから分離されたサイドカーが提供する。README によれば、同じセッション内の T4 比較では f16 の重み保存は f32 より 7% 速く、VRAM 使用量は半分で、デコードは 36〜42% 速い。Runpod サーバーレスではエンジンのロードに 1.6 秒かかり、同じ GPU クラスの公式 vLLM ワーカーでは約 150 秒だったと記録している。
ただし、この計測は Tesla T4 と Runpod で得られた.eot 自身の結果であり、外部検証は確認されていない。特に vLLM とのロード時間の比較では、プラットフォームのプロビジョニング時間が支配的だと資料は示している。したがって、この数字だけでエンジン自体の一般的な優位を判断するのは難しい。バッチングもスケジューリングもない構造は、持続的なスループットよりコールドスタートが重要���な狭い用途に適している。