Devotd Github
新着推論・サービング

truespar/paddock d8ee0629 — Flint 40B の NVIDIA GPU 実行サポート

truespar/paddock は 2026 年 11 月 5 日のコミットにより、Recursive のコーディングエージェント向けモデル Flint(40B、有効 2.5B)を NVIDIA Ada 以降の GPU 上で実行するサポートを追加した。

リポジトリ情報truespar/paddock ↗

truespar/paddock は 2026 年 11 月 5 日のコミットにより、Recursive のコーディングエージェント向けモデル Flint(40B、有効 2.5B)を NVIDIA Ada 以降の GPU 上で実行するサポートを追加した。

GitHub の説明: Native Rust inference server for open models on NVIDIA and Apple Silicon. OpenAI- and Anthropic-compatible APIs, GGUF + safetensors + MLX, FP8/NVFP4/MXFP4/Q8/Q4, built-in Studio

スター
★ 135
フォーク
19
言語
Rust
ライセンス
NOASSERTION
最新リリース
v0.1.18
原文を見る ↗GitHub で見る ↗

truespar/paddock はオープンモデル向けのネイティブ Rust 推論サーバーである。2026 年 11 月 5 日のコミット d8ee0629(メッセージ「Flint on NVIDIA GPUs」)により、Recursive の Flint モデルをこのサーバー上で実行できるようになった。README の対応モデル一覧に Flint が追加され、規模 40B、有効パラメータ 2.5B、コーディングエージェント向けという説明とともにテキスト専用であり、Ada 以降の NVIDIA GPU でのみ動作すると明記されている。

今回の変更の中心は GPU 実行パスである。30 個のファイルで 6845 行が追加され 648 行が削除され、新規ファイル gpu_model/laguna/load_flint.rs(410 行)には Flint 専用のモデルローダーが含まれている。gpu/nvpf.rs、gpu/w16r.rs、gpu_model/laguna/nv.rs、gpu_model/laguna/attend.rs が新設され、attention.rs には bf16 出力の prefill アテンションパスが追加された。q 平面を f32 または事前スケーリングされた f16 から選ぶ PfQ タイプが導入され、ヘッド次元 128 の f16 プールを使う形式でのみ bf16 結果が出力され、他の形式では従来の f32 呼び出しを維持するフォールバックが組み込まれた。batch_ops.rs には qk 正規化と RoPE を行区間単位で実行する qk_norm_rope_batch_at が追加され、models.toml は 91 行、tests/gpu_flint.rs は 1113 行増加した。

ただしサポート範囲は明確である。README によると Flint はテキスト専用であり、Ada 以降の NVIDIA GPU を前提とするため、Apple Silicon パスと画像入力は本コミットの対象外である。新設された bf16 prefill パスも条件付きであり、サポート対象外の形式では f32 パスにフォールバックする。性能数値とベンチマーク結果はこのコミットには含まれておらず、ライセンスも提示されていない。どの程度の速度と精度が得られるかの判断は早計であり、Ada 以降の GPU を用意できる場合にのみ期待に値する。