Devotd Github
新发现推理与服务

lemonade-sdk/lemonade — MTP 自动化,Qwen3.5-35B-A3B-HRX 模型注册

lemonade-sdk/lemonade 的最新提交为 HRX 后端加入了 MTP 推理自动化,并把 Qwen3.5-35B-A3B-HRX 模型注册进了目录。

仓库信息lemonade-sdk/lemonade ↗

lemonade-sdk/lemonade 的最新提交为 HRX 后端加入了 MTP 推理自动化,并把 Qwen3.5-35B-A3B-HRX 模型注册进了目录。

GitHub 项目说明: Lemonade helps users discover and run local AI apps by serving optimized LLMs right from their own GPUs and NPUs. Join our discord: https://discord.gg/5xXzkMu8Zk

星标
★ 5.9K
复刻
529
语言
C++
许可证
Apache-2.0
最新版本
v2026.42.1
查看原始来源 ↗在 GitHub 查看 ↗

lemonade-sdk/lemonade 仓库的最新提交 a655222(2026 年 11 月 7 日,PR #4014)为 HRX 后端加入了 MTP 自动化,该后端在本地 GPU·NPU 上提供经过优化的 LLM 服务。与此同时,Qwen3.5-35B-A3B-HRX 作为新条目注册到了服务器模型目录中。该提交改动了 5 个文件,新增 103 行、删除 7 行。原文可在 https://github.com/lemonade-sdk/lemonade/commit/a6552224573ffa128bf8ba49e238c6c604d18870 查看。

HRX 复用 llama-server 的协议,但只支持本地 GGUF 的聊天启动路径,属于范围较窄的后端。本次变更的核心是:把目录标签中带有 mtp 的模型在 HRX 上启动时,自动追加 --spec-type draft-mtp。MTP(Multi-Token Prediction)是一种让模型一次预测多个 token 的方式;正如头部注释所写,HRX 支持内置的 MTP head,不处理单独的 draft checkpoint。新增到目录中的条目以 unsloth/Qwen3.5-35B-A3B-MTP-GGUF 的 Qwen3.5-35B-A3B-UD-Q4_K_XL.gguf 作为 checkpoint,并带有 chat、tool-calling、mtp 标签以及 size 值 23.1。在部署方面,HRX 运行时从 hrx-b99 升级到 hrx-b129,并固定了新二进制的 sha256。

自动化并非总是有利。如果 merge_args 保持 false,就不会追加自动参数;如果用户自己写明了 --spec-type,自动设置也不会被覆盖。契约测试中新增了对目录条目解析的验证,以及对重复调用时参数不重复的验证,但提交信息说明已把单独的重负载 MTP 推理测试从 CI 中移除。因此,这个提交只能说明 MTP 路径已经接上,并没有给出推理速度提升了多少的数据。许可和性能测量也未一并给出,所以这仍是实使用前需要确认的阶段。