github.devotd.
새 소식추론/서빙

mw00/project-maya v1.1.15 — 구형 GPU용 GLM-5.3-Flash 엔진

mw00/project-maya는 GPU·RAM·NVMe SSD에 expert를 나눠 두고 GLM-5.3-Flash를 개인 GPU에서 구동하는 C++ 엔진이다.

저장소 정보mw00/project-maya ↗

Project Maya - run GLM-5.3-Flash (321B MoE) privately on your own GPU(s), from one card to 16, NVIDIA or AMD, Linux or Windows. Engine, server, dashboard, OpenAI- and Anthropic-compatible API, quant tools.

스타
★ 1K
포크
136
언어
C++
라이선스
MIT
최신 릴리스
v1.1.15
원문 보기 ↗GitHub에서 보기 ↗

mw00/project-maya의 최신 릴리스는 v1.1.15다. 이 프로젝트는 321B MoE 모델 GLM-5.3-Flash를 개인 GPU에서 구동하는 전용 엔진이다. 제공된 정보에는 v1.1.15의 변경 내역이 없어, 이번 버전에서 무엇이 바뀌었는지는 확인할 수 없다.

핵심은 모델의 일부인 expert를 GPU·RAM·NVMe SSD에 나눠 두고 대화 중 옮기는 계층형 메모리 방식이다. 자주 쓰는 expert는 GPU에, 다음은 RAM에, 나머지는 SSD에 둔다. 자체 양자화 파일은 다섯 종류이며, M-Derisked를 제외한 네 종류는 저장소 설명에서 FP8 모델 대비 제로샷 정확도 97.7~99.2%로 제시한다. OpenAI·Anthropic 호환 API와 최대 8개 동시 요청, 브라우저 채팅 및 모니터링 대시보드도 제공한다. MIT 라이선스 C++ 프로젝트다.

성능 표는 사용자 제출 실측으로, 4x RTX 4090에서 118 tok/s decode와 4129 tok/s prefill, RTX 5090 단독에서 23~30+ tok/s, RTX 3090 단독에서 26~27 tok/s, AMD Radeon 8065S에서 최대 29.6 tok/s를 기록한다. 구형 NVIDIA Pascal 지원은 실험적이다. 따라서 이 수치는 하드웨어별 가능성을 보여주는 참고값이며, 실제 성능은 구성에 따라 달라질 수 있다.