giveen/decapybara에 2026년 10월 11일 최초 커밋이 생겼다. sha 674b80a, 2406줄 추가에 삭제는 없다. README는 이 저장소를 MegaCapybara 추론 서버의 오픈소스 C++20·CUDA 재구현으로 설명하고, 목표는 NVIDIA RTX 5090(Blackwell) 하드웨어에서 Qwen3.8-27B를 돌리는 것으로 적어 둔다. 로컬 LLM 서빙 서버 코드 전체를 한 번에 공개한 묶음이다.
구조는 세 부분이다. 추론 서버 decapybara는 OpenAI 호환(/v1/chat/completions, /v1/completions, /v1/models)과 Anthropic 호환(/v1/messages) HTTP API를 제공하고, KV 캐시를 VRAM에서 pinned RAM 풀을 거쳐 디스크 슬롯 페이징까지 3단계로 관리한다. 144바이트 고정 헤더의 .mcapy 텐서 컨테이너 리더, BPE 토크나이저와 ChatML 템플팅, 반복 생성을 막는 LoopGuard도 들어 있다. CUDA 커널 스위트는 Blackwell용으로, 단일 런처치 persistent decode 루프를 도는 megakernel.cu, NVFP4/MXFP8 블록 행렬-벡터 곱 mx_gemv.cu, KV dequant를 수행하는 FlashAttention prefill attn_prefill.cu, Top-8 게이팅 MoE 라우터 moe.cu, DFlash speculative 확률 트리 탐색 drafter.cu, 32개 단위 MXFP8 활성값 양자화 act_quant.cu 등을 담는다. 보조 실행 파일 DecapybaraLauncher는 GDDR7 VRAM·RAM 용량 추정, 모델 자동 탐색과 speculative drafter 페어링, MaxEfficiency·Medium·MaxQuality 프리셋을 맡는다.
다만 이 코드는 원본이 아니라 재구현본이다. 커널 주석은 act_quant.sm_120a.ptx 같은 Blackwell 전용 PTX를 역분석해 되살렸다고 밝히고 원본 파일 경로도 그대로 남아 있다. 라이선스는 README에 MIT이라고만 적혀 있어 커밋에 라이선스 파일은 없다. 성능 수치나 정확도 검증, 테스트 절차는 제시되지 않았고, 빌드는 Linux x86_64(glibc 2.38 이상), C++20 컴파일러, CUDA 12 또는 13, CMake 3.20 이상을 요구하며 CUDA_ARCHITECTURES를 all로 둔다. RTX 5090 한 대와 특정 모델 조합을 전제로 한 코드라, 다른 GPU나 다른 모델에서 어떻게 동작하는지는 기록만으로 판단하기는 이르다.