truespar/paddock 是一个面向开放模型的原生 Rust 推理服务器。2026 年 11 月 5 日的提交 d8ee0629(提交信息为「Flint on NVIDIA GPUs」)使 Recursive 的 Flint 模型可以在该服务器上运行。README 的支持模型列表中新增了 Flint,并注明其规模为 40B、激活参数 2.5B、用于编码代理,且为纯文本支持,仅可在 Ada 及更高版本的 NVIDIA GPU 上运行。
本次变更的核心是 GPU 执行路径。30 个文件中新增 6845 行、删除 648 行,新文件 gpu_model/laguna/load_flint.rs(410 行)包含 Flint 专用的模型加载器。新增了 gpu/nvpf.rs、gpu/w16r.rs、gpu_model/laguna/nv.rs、gpu_model/laguna/attend.rs,attention.rs 中增加了 bf16 输出的 prefill 注意力路径。加入了 PfQ 类型,用于在 f32 或预缩放的 f16 之间选择 q 平面;并且仅在使用头维度为 128 的 f16 池的形式下产生 bf16 结果,其他形式则保留原有的 f32 调用作为回退。batch_ops.rs 中新增了 qk_norm_rope_batch_at,按行区间执行 qk 归一化与 RoPE;models.toml 增加 91 行,tests/gpu_flint.rs 增加 1113 行。
不过支持范围是明确的。以 README 为准,Flint 为纯文本,且以 Ada 及更高版本的 NVIDIA GPU 为前提,因此 Apple Silicon 路径与图像输入不在本次提交的范围内。新增的 bf16 prefill 路径也是有条件的,在支持形式之外会回退到 f32 路径。本提交未包含性能数值与基准测试结果,也未给出许可证。究竟能获得何种程度的速度和准确度还为时过早,因此只有在准备好 Ada 及更高版本 GPU 的情况下才值得期待。