lateos-ai/reflex의 최신 릴리스는 v0.2.9-runpod-hub다. 이 저장소는 GGUF 모델을 처리하는 Rust·CUDA 추론 엔진으로, 에이전트의 실시간 의사결정처럼 응답을 빠르게 내야 하는 상황의 콜드 스타트 지연을 겨냥한다. 이번 버전에서 무엇이 바뀌었는지는 제공된 자료에 나와 있지 않다. README는 Tesla T4에서 Qwen3-0.6B-Q4_K_M을 사용한 측정으로, 프로세스 시작부터 채점 결과까지 483밀리초(p50, n=10)를 제시한다. 이는 엔진 내부 타이머 기준이며, 프로세스 밖에서 재면 OS 로딩 약 110밀리초를 포함해 약 0.6초라고 설명한다.
이 엔진은 요청을 모아 처리량을 높이는 서버보다, 단일 에이전트가 결정을 내리는 짧은 경로에 초점을 둔다. CUDA 커널을 nvcc로 미리 컴파일해 바이너리에 포함하므로 실행 시 JIT 컴파일이 없다. 스케줄러와 배칭이 없는 단일 테넌트 구조이며, HTTP 기능은 엔진과 분리된 사이드카로 제공된다. README에 따르면 같은 세션의 T4 비교에서 f16 가중치 저장은 f32보다 7% 빠르고 VRAM 사용량은 절반이며, 디코드는 36~42% 빠르다. Runpod 서버리스에서는 엔진 로드에 1.6초가 걸렸고, 같은 GPU 등급의 공식 vLLM 워커는 약 150초였다고 기록했다.
다만 이 측정은 Tesla T4와 Runpod에서 나온 자체 결과이며 외부 검증은 확인되지 않는다. 특히 vLLM과의 로드 시간 비교는 플랫폼 프로비저닝 시간이 지배적이라고 자료가 밝힌다. 따라서 이 수치만으로 엔진 자체의 일반적인 우위를 판단하기는 어렵다. 배칭과 스케줄링이 없는 구조도 지속 처리량보다 콜드 스타트가 중요한 좁은 용도에 맞는다.