github.devotd.
릴리스추론/서빙

valeriodolci/capy-flash v0.6.0 — 긴 대화 메모리와 전문가 배치 개선

valeriodolci/capy-flash v0.6.0은 긴 대화의 그래픽 메모리와 전문가 모듈 배치를 개선하고 짧은 입력 처리와 선택형 이미지 이해 기능을 더한 릴리스다.

저장소 정보valeriodolci/capy-flash ↗

Qwen3.8-Flash-Next (MoE, NVFP4) and Qwen3.8-27B on two 16 GB consumer GPUs: two-GPU tensor parallel, experts offloaded to CPU. Formerly ninfer-tp2.

스타
★ 50
포크
11
언어
C++
라이선스
Apache-2.0
최신 릴리스
v0.6.0
원문 보기 ↗GitHub에서 보기 ↗

valeriodolci/capy-flash는 16GB 소비자 GPU 두 장에서 Qwen3.8-Flash-Next (MoE, NVFP4)와 Qwen3.8-27B를 구동하는 프로젝트다. GitHub에 공개된 v0.6.0은 긴 대화에서 그래픽 메모리 사용과 전문가 모듈 배치를 개선했다. 짧은 입력 처리와 선택형 이미지 이해 기능도 추가했다. 이는 저장소의 새 버전에서 바뀐 내용이다.

이 프로젝트는 두 GPU를 함께 사용하는 tensor parallel 구성과 CPU로 전문가 모듈을 내리는 방식을 설명한다. 저장소 설명에 적힌 모델은 Qwen3.8-Flash-Next (MoE, NVFP4)와 Qwen3.8-27B이며, 프로젝트는 예전에 ninfer-tp2라는 이름을 썼다. 이번 릴리스 요약은 긴 대화의 그래픽 메모리 사용과 전문가 모듈 배치 개선을 핵심 변경으로 들고, 짧은 입력 처리와 선택형 이미지 이해를 추가 기능으로 제시한다. 세부 구현이나 기능별 지원 범위는 주어진 정보에 나와 있지 않다.

새 처리 방식의 속도 비교도 공개됐지만, 수치는 프로젝트 측 자체 시험 결과이며 독립적으로 검증된 값은 아니다. 따라서 이를 다른 환경에서도 같은 속도가 난다는 근거로 볼 수는 없다. 저장소 설명이 제시하는 구성은 16GB 소비자 GPU 두 장이며, 다른 GPU 구성에서의 결과는 주어진 정보에 없다. 이번 변경의 의미는 긴 대화 처리와 전문가 배치, 짧은 입력 및 선택형 이미지 이해 기능이 추가됐다는 데 있고, 속도 비교는 독립 검증 전까지 프로젝트 측 결과로 한정해 읽어야 한다.

같은 분야의 다른 프로젝트

로컬 추론 엔진 ↗