lateos-ai/reflex 的最新版本是 v0.2.9-runpod-hub。该仓库是一个处理 GGUF 模型的 Rust/CUDA 推理引擎，面向需要快速响应的场景（例如代理的实时决策），目标是降低冷启动延迟。本次版本有哪些改动，所提供的资料中并未说明。README 给出了一项在 Tesla T4 上使用 Qwen3-0.6B-Q4_K_M 的测量：从进程启动到评分结果为 483 毫秒（p50，n=10）。这是以引擎内部计时器为准的数据；资料说明，如果在进程之外重新测量，计入约 110 毫秒的操作系统加载时间，则约为 0.6 秒。
该引擎的重点是单个代理做决策的短路径，而不是通过聚合请求来提高吞吐量的服务器。CUDA 内核事先用 nvcc 预编译并打包进二进制文件，因此运行时没有 JIT 编译。它采用单租户结构，没有调度器，也没有批处理；HTTP 功能由与引擎分离的边车提供。据 README，在同一会话的 T4 对比中，f16 权重存储比 f32 快 7%，显存占用减半，解码快 36%~42%。资料记录，在 Runpod serverless 上引擎加载耗时 1.6 秒，而同等 GPU 等级的官方 vLLM worker 约需 150 秒。
不过，这些测量是该项目自己在 Tesla T4 和 Runpod 上得到的结果，尚未确认有外部验证。资料特别指出，与 vLLM 的加载时间比较主要受平台预配时间支配。因此，仅凭这些数字很难判断引擎本身是否普遍占优。没有批处理和调度的结构，也更适合那些冷启动比持续吞吐更重要的狭窄用途。