Devotd Github
릴리스추론/서빙

mw00/project-maya v1.1.41 — 다중 GPU 프롬프트 처리 개선

사용자 GPU에서 대형 MoE 모델을 실행하는 mw00/project-maya가 v1.1.41에서 다중 GPU 프롬프트 처리 개선과 에이전트 반복 방지 기능을 추가했다.

저장소 정보mw00/project-maya ↗

사용자 GPU에서 대형 MoE 모델을 실행하는 mw00/project-maya가 v1.1.41에서 다중 GPU 프롬프트 처리 개선과 에이전트 반복 방지 기능을 추가했다.

GitHub 설명: Project Maya - run GLM-5.3-Flash (321B MoE), DeepSeek-V4.1-Flash-1017 (748B MoE) and MiniMax-M3.1-Flash (428B MoE) privately on your own GPU(s), from one card to 16, NVIDIA or AMD, Linux or Windows. Engine, server, dashboard, OpenAI- and Anthropic-compatible API, quant tools.

스타
★ 2.3K
포크
301
언어
Cuda
라이선스
MIT
최신 릴리스
v1.1.41
원문 보기 ↗GitHub에서 보기 ↗

mw00/project-maya가 v1.1.41을 공개했다. 사용자 GPU에서 GLM-5.3-Flash(321B MoE), DeepSeek-V4.1-Flash-1017(748B MoE), MiniMax-M3.1-Flash(428B MoE)를 실행하도록 만든 프로젝트다. 이번 릴리스에는 커뮤니티 기여 36건이 담겼다. 릴리스 설명에 따르면 다중 GPU 환경에서 시작 직후 첫 긴 프롬프트를 읽는 속도가 약 1.3배 빨라졌다.

이 프로젝트는 모델 실행 엔진뿐 아니라 서버, 대시보드, OpenAI 및 Anthropic 호환 API, 양자화 도구를 함께 제공한다. 한 장부터 16장까지의 NVIDIA 또는 AMD GPU와 Linux 및 Windows를 지원한다고 설명한다. 따라서 모델 실행에 필요한 구성 요소를 한 저장소에서 살펴볼 수 있으며, 호환 API를 사용하는 구성도 선택할 수 있다. 릴리스 정보는 메모리가 부족한 PC에서도 속도가 개선됐다고 덧붙인다.

v1.1.41에는 턴이 바뀐 뒤에도 동작하는 에이전트 반복 방지 장치도 추가됐다. 다만 릴리스 설명은 약 1.3배 개선의 측정 환경이나 비교 기준을 밝히지 않는다. 이 수치는 릴리스가 보고한 결과로 볼 수 있지만, 다른 환경에서도 같은 향상이 난다고 판단할 근거는 주어지지 않았다.