giveen/decapybara に 2026 年 10 月 11 日の初回コミットが出された。sha は 674b80a、2406 行の追加で削除はない。README はこのリポジトリを MegaCapybara 推論サーバーのオープンソースな C++20・CUDA 再実装と説明し、目標を NVIDIA RTX 5090(Blackwell) ハードウェアで Qwen3.8-27B を動かすことだと記している。ローカル LLM サービングサーバーのコードを一度に公開したまとめである。
構造は三つの部分からなる。推論サーバー decapybara は OpenAI 互換(/v1/chat/completions, /v1/completions, /v1/models)と Anthropic 互換(/v1/messages)の HTTP API を提供し、KV キャッシュを VRAM から pinned RAM プールを経てディスクスロット 페ージングまでの 3 段階で管理する。144 バイト固定ヘッダーの .mcapy テンソルコンテナリーダ、BPE トークナイザと ChatML テンプレート、繰り返し生成を防ぐ LoopGuard も含まれている。CUDA カーネルスイートは Blackwell 向けで、単一ローンチの persistent decode ループを回す megakernel.cu、NVFP4/MXFP8 ブロック行列-ベクトル積の mx_gemv.cu、KV dequant を行う FlashAttention prefill の attn_prefill.cu、Top-8 ゲーティング MoE ルーターの moe.cu、DFlash speculative 確率木探索の drafter.cu、32 個単位の MXFP8 活性化量子化の act_quant.cu などを含む。補助実行ファイル DecapybaraLauncher は GDDR7 VRAM・RAM 容量見積り、モデルの自動探索と speculative drafter のペアリング、MaxEfficiency・Medium・MaxQuality プリセットを担当する。
ただしこのコードは原本ではなく再実装である。カーネルコメントは act_quant.sm_120a.ptx のような Blackwell 専用 PTX を逆解析して復元したと明言しており、元のファイルパスもそのまま残っている。ライセンスは README に MIT としか記載がなく、コミットにライセンスファイルはない。性能数値や精度検証、テスト手順は示されておらず、ビルドには Linux x86_64(glibc 2.38 以上)、C++20 コンパイラ、CUDA 12 または 13、CMake 3.20 以上が必要で、CUDA_ARCHITECTURES は all に設定する。RTX 5090 1 台と特定のモデル組み合わせを前提としたコードであり、他の GPU や他のモデルでどう動作するかは記録のみでは判断が早い。