Devotd Github
새 소식추론/서빙

lemonade-sdk/lemonade — MTP 자동화, Qwen3.5-35B-A3B-HRX 모델 등록

lemonade-sdk/lemonade의 최신 커밋이 HRX 백엔드에 MTP 추론 자동화를 추가하고 Qwen3.5-35B-A3B-HRX 모델을 카탈로그에 등록했다.

저장소 정보lemonade-sdk/lemonade ↗

lemonade-sdk/lemonade의 최신 커밋이 HRX 백엔드에 MTP 추론 자동화를 추가하고 Qwen3.5-35B-A3B-HRX 모델을 카탈로그에 등록했다.

GitHub 설명: Lemonade helps users discover and run local AI apps by serving optimized LLMs right from their own GPUs and NPUs. Join our discord: https://discord.gg/5xXzkMu8Zk

스타
★ 5.9K
포크
529
언어
C++
라이선스
Apache-2.0
최신 릴리스
v2026.42.1
원문 보기 ↗GitHub에서 보기 ↗

lemonade-sdk/lemonade 저장소의 최신 커밋 a655222(2026년 11월 7일, PR #4014)는 로컬 GPU·NPU에서 최적화된 LLM을 서빙하는 HRX 백엔드에 MTP 자동화를 넣었다. 동시에 Qwen3.5-35B-A3B-HRX가 서버 모델 카탈로그에 새 항목으로 등록됐다. 커밋은 5개 파일을 건드려 103줄을 추가하고 7줄을 지웠다. 원문은 https://github.com/lemonade-sdk/lemonade/commit/a6552224573ffa128bf8ba49e238c6c604d18870 에서 볼 수 있다.

HRX는 llama-server의 프로토콜을 재사용하되 로컬 GGUF 채팅 시작 경로만 지원하는 좁은 백엔드다. 이번 변경의 중심은 카탈로그 라벨에 mtp가 붙은 모델을 HRX로 올릴 때 --spec-type draft-mtp를 자동으로 붙이는 것이다. MTP(Multi-Token Prediction)는 모델이 여러 토큰을 한 번에 맞히는 방식으로, 헤더 주석에 적힌 대로 HRX는 내장 MTP 헤드를 지원하고 별도 드래프트 체크포인트는 다루지 않는다. 카탈로그에 추가된 항목은 unsloth/Qwen3.5-35B-A3B-MTP-GGUF의 Qwen3.5-35B-A3B-UD-Q4_K_XL.gguf를 체크포인트로 삼고 chat, tool-calling, mtp 라벨과 size 23.1 값을 갖는다. 배포 쪽에서는 HRX 런타임이 hrx-b99에서 hrx-b129로 올라가며 새 바이너리의 sha256이 고정됐다.

자동화가 늘 유리한 것은 아니다. merge_args를 false로 두면 자동 인자는 붙지 않고, 사용자가 --spec-type을 직접 적으면 자동 설정은 덮어써지지 않는다. 계약 테스트에는 카탈로그 항목 파싱과 반복 호출에서도 인자가 중복되지 않는지 확인하는 검증이 들어갔지만, 커밋 메시지는 별도의 무거운 MTP 추론 테스트를 CI에서 빼냈다고 밝힌다. 그래서 이 커밋은 MTP 경로가 붙었다는 사실까지만 보여줄 뿐, 추론이 얼마나 빨라지는지에 대한 수치는 제시되지 않는다. 라이선스와 성능 측정도 함께 제시되지 않아 실사용 전 확인이 필요한 단계다.