Devotd Github
新着推論・サービング

lemonade-sdk/lemonade — MTP 自動化、Qwen3.5-35B-A3B-HRX モデルの登録

lemonade-sdk/lemonade の最新コミットは、HRX バックエンドに MTP 推論の自動化を追加し、Qwen3.5-35B-A3B-HRX モデルをカタログに登録した。

リポジトリ情報lemonade-sdk/lemonade ↗

lemonade-sdk/lemonade の最新コミットは、HRX バックエンドに MTP 推論の自動化を追加し、Qwen3.5-35B-A3B-HRX モデルをカタログに登録した。

GitHub の説明: Lemonade helps users discover and run local AI apps by serving optimized LLMs right from their own GPUs and NPUs. Join our discord: https://discord.gg/5xXzkMu8Zk

スター
★ 5.9K
フォーク
529
言語
C++
ライセンス
Apache-2.0
最新リリース
v2026.42.1
原文を見る ↗GitHub で見る ↗

lemonade-sdk/lemonade リポジトリの最新コミット a655222(2026年11月7日、PR #4014)は、ローカル GPU・NPU に最適化された LLM をサービングする HRX バックエンドに MTP 自動化を追加した。同時に Qwen3.5-35B-A3B-HRX がサーバーモデルカタログの新規項目として登録された。コミットは 5 つのファイルに手を入れ、103 行を追加し、7 行を削除した。原文は https://github.com/lemonade-sdk/lemonade/commit/a6552224573ffa128bf8ba49e238c6c604d18870 で確認できる。

HRX は llama-server のプロトコルを再利用するが、ローカル GGUF のチャット起動経路のみしかサポートしない限定的なバックエンドである。今回の変更の中心は、カタログのラベルに mtp が付いたモデルを HRX で起動するときに --spec-type draft-mtp を自動的に付与することにある。MTP(Multi-Token Prediction)はモデルが複数のトークンを一度に予測する方式であり、ヘッダコメントの記載どおり、HRX は組み込みの MTP ヘッドをサポートし、別個の draft チェックポイントは扱わない。カタログに追加された項目は unsloth/Qwen3.5-35B-A3B-MTP-GGUF の Qwen3.5-35B-A3B-UD-Q4_K_XL.gguf をチェックポイントとし、chat、tool-calling、mtp のラベルと size の値 23.1 を持つ。デプロイ側では、HRX ランタイムが hrx-b99 から hrx-b129 へ更新され、新しいバイナリの sha256 が固定された。

自動化が常に有利とは限らない。merge_args を false のままにすると自動的な引数は付与されず、ユーザーが --spec-type を自分で書いた場合も自動設定は上書きされない。契約テストにはカタログ項目のパースと、繰り返し呼び出しでも引数が重複しないことを確認する検証が加えられた一方、コミットメッセージでは単独の重負荷な MTP 推論テストを CI から取り除いたと説明されている。したがって、このコミットが示しているのは MTP 経路が組み込まれたという事実だけで、推論がどれだけ速くなるかについての数値は提示されていない。ライセンスも性能測定も併せて示されていないため、実運用前に確認を要する段階である。