Devotd Github
新发现推理与服务

giveen/decapybara — MegaCapybara 推理服务器的 C++20·CUDA 重实现

giveen/decapybara 于 2026 年 10 月 11 日以首次提交的形式公开了基于 C++20·CUDA 的 LLM 推理服务器全部源码。

仓库信息giveen/decapybara ↗

giveen/decapybara 于 2026 年 10 月 11 日以首次提交的形式公开了基于 C++20·CUDA 的 LLM 推理服务器全部源码。

GitHub 项目说明: Open-source C++20 and CUDA reconstruction of the MegaCapybara inference server

星标
★ 2
复刻
0
语言
C++
查看原始来源 ↗在 GitHub 查看 ↗

giveen/decapybara 出现了 2026 年 10 月 11 日的首次提交。sha 为 674b80a,新增 2406 行,没有删除。README 将该仓库说明为 MegaCapybara 推理服务器的开源 C++20·CUDA 重实现,并把目标写成在 NVIDIA RTX 5090(Blackwell) 硬件上运行 Qwen3.8-27B。这是一口气公开了本地 LLM 服务服务器全部代码的合集。

结构分为三部分。推理服务器 decapybara 提供 OpenAI 兼容(/v1/chat/completions, /v1/completions, /v1/models)与 Anthropic 兼容(/v1/messages)的 HTTP API,并以从 VRAM 经由 pinned RAM 池再到磁盘分槽换页的 3 阶段方式管理 KV 缓存。还包含带 144 字节固定头的 .mcapy 张量容器读取器、BPE 分词器与 ChatML 模板,以及用于阻止重复生成的 LoopGuard。CUDA 内核套件面向 Blackwell,包含以单次启动运行 persistent decode 循环的 megakernel.cu、NVFP4/MXFP8 分块矩阵-向量乘法的 mx_gemv.cu、执行 KV 反量化的 FlashAttention prefill attn_prefill.cu、Top-8 门控 MoE 路由器 moe.cu、DFlash speculative 概率树搜索 drafter.cu、以 32 个为单位进行 MXFP8 激活值量化的 act_quant.cu 等。辅助执行文件 DecapybaraLauncher 负责 GDDR7 VRAM·RAM 容量估算、模型自动搜索与 speculative drafter 配对,以及 MaxEfficiency·Medium·MaxQuality 预设。

不过这份代码不是原件,而是重实现版本。内核注释说明它们是通过逆向分析 act_quant.sm_120a.ptx 这类 Blackwell 专用 PTX 还原出来的,原文件路径也原样保留。许可证只在 README 中写明为 MIT,提交中没有许可证文件。没有给出性能数值、精度验证或测试流程;构建要求 Linux x86_64(glibc 2.38 以上)、C++20 编译器、CUDA 12 或 13、CMake 3.20 以上,并把 CUDA_ARCHITECTURES 设为 all。由于这是以一台 RTX 5090 和特定模型组合为前提的代码,仅凭记录还难以判断它在其他 GPU 或其他模型上的表现。