Devotd Github
릴리스추론/서빙

cutlerbenjamin1-cmd/qwen38-megakernel v2026.10.30 — 사전 빌드와 디코드 개선

cutlerbenjamin1-cmd/qwen38-megakernel v2026.10.30은 Qwen3.8-27B를 24기가바이트 NVIDIA GPU 한 장에서 실행하는 서버의 사전 빌드 패키지를 제공하고 디코드 속도를 개선했다.

저장소 정보cutlerbenjamin1-cmd/qwen38-megakernel ↗

cutlerbenjamin1-cmd/qwen38-megakernel v2026.10.30은 Qwen3.8-27B를 24기가바이트 NVIDIA GPU 한 장에서 실행하는 서버의 사전 빌드 패키지를 제공하고 디코드 속도를 개선했다.

GitHub 설명: Standalone OpenAI-compatible server for Qwen3.8-27B on one 24 GB NVIDIA GPU: CUDA megakernel (from open-jet), CPU vision encoder, launcher

스타
★ 5
포크
1
언어
Cuda
라이선스
AGPL-3.0
최신 릴리스
v2026.10.30
원문 보기 ↗GitHub에서 보기 ↗

cutlerbenjamin1-cmd/qwen38-megakernel v2026.10.30 릴리스는 Qwen3.8-27B를 24기가바이트 NVIDIA GPU 한 장에서 실행하는 서버를 업데이트했다. 릴리스 요약에 따르면 이번 변경은 사전 빌드 패키지 공개와 디코드 속도 개선이다. 디코드는 모델이 입력을 바탕으로 답변 토큰을 생성하는 과정이다. 이 릴리스는 저장소의 v2026.10.30 릴리스 기록으로 공개됐다.

저장소 설명은 이 프로젝트를 독립형 OpenAI 호환 서버로 소개한다. 즉 OpenAI 호환 API를 제공하는 서버이며, Qwen3.8-27B를 단일 24기가바이트 NVIDIA GPU에서 구동하는 구성이 중심이다. 구성 요소로는 open-jet에서 가져온 CUDA megakernel, CPU에서 동작하는 비전 인코더, 실행을 위한 launcher가 명시돼 있다. 이번 릴리스의 사전 빌드 패키지는 이 서버를 빌드해 제공하는 변경이며, 설명된 실행 환경은 GPU 한 장으로 한정된다.

다만 제공된 릴리스 요약에는 디코드 속도 개선의 수치나 측정 조건이 없다. 따라서 개선 폭이나 다른 구성과의 성능 차이는 이 기록만으로 판단할 수 없다. 공개된 정보가 뒷받침하는 것은 해당 패키지와 속도 개선의 제공 사실까지이며, 성능 우위의 근거로 보기는 어렵다.