Devotd Github
새 소식추론/서빙

rustingstudio/rustingstrata v1.2.0 — CPU·GPU 혼합 추론 엔진

rustingstudio/rustingstrata는 Qwen 계열 GGUF 모델을 실행하는 Rust 추론 엔진으로, CPU·GPU 혼합 처리와 CUDA·Vulkan 경로를 제공한다.

저장소 정보rustingstudio/rustingstrata ↗

rustingstudio/rustingstrata는 Qwen 계열 GGUF 모델을 실행하는 Rust 추론 엔진으로, CPU·GPU 혼합 처리와 CUDA·Vulkan 경로를 제공한다.

GitHub 설명: Pure-Rust MoE inference engine for Qwen3.5/3.6/3.8 GGUF. CPU+GPU hybrid experts, NVRTC CUDA kernels, OpenAI-compatible server. 2x llama.cpp prefill and decode on a 12 GB RTX 3060.

스타
★ 93
포크
13
언어
Rust
라이선스
NOASSERTION
최신 릴리스
v1.2.0
원문 보기 ↗GitHub에서 보기 ↗

rustingstudio/rustingstrata의 최신 릴리스는 v1.2.0이다. 이 저장소는 Qwen 계열 GGUF 모델을 실행하는 순수 Rust 추론 엔진이며, 제공된 기록에는 v1.2.0에서 새로 추가되거나 변경된 항목이 나와 있지 않다. 저장소 설명은 12 GB RTX 3060에서 llama.cpp 대비 프리필과 디코드 성능이 각각 2배라고 밝힌다.

이 엔진은 모델의 전문가 모듈이 VRAM에 들어가지 않을 때 CPU와 GPU에서 함께 처리하는 혼합 실행 방식을 제공한다. 전문가 모듈은 혼합 전문가(Mixture-of-Experts, MoE) 모델에서 입력에 따라 선택되는 계산 부분이다. 실행 경로는 CUDA와 Vulkan을 지원하며, CUDA 커널은 NVRTC를 이용해 실행 시점에 컴파일한다. 저장소 설명에 따르면 추론 서버는 OpenAI 호환 채팅 API와 도구 호출도 지원한다. Reddit r/Qwen_AI에서는 Qwen3.8-Flash-Next 기준 원본 Strata보다 디코드 2배, 프리필 2.5배 빠르다는 주장이 공유됐으며, 해당 게시물의 점수는 48점, 댓글은 51개다.

성능 수치는 저장소 설명과 Reddit 게시물에 제시된 주장으로, 서로 다른 기준을 비교하므로 하나의 측정 결과처럼 읽을 수 없다. README는 측정 조건과 일부 하드웨어 제약을 공개한다고 요약돼 있다. 라이선스 필드는 NOASSERTION으로, 제공된 정보만으로 적용 라이선스를 확인할 수 없다. 따라서 성능과 사용 조건은 공개된 범위 안에서 판단해야 한다.