syv-ai/hyperqwen は、24GB GPU 1 枚で Qwen3.8-27B をサービングするための vLLM パッチとモデル準備パイプラインを提供するリポジトリです。特定のデプロイ構成に限定されず、再量子化した重み、補正したドラフト語彙、およびプロンプトから取り出した断片を利用する推測デコーディングを構成要素として説明しています。リポジトリの言語は Python、ライセンスは Apache-2.0 です。
目標は、大きな Qwen モデルをコンシューマー向け GPU 1 枚で運用することです。README は、文脈長 15 万〜26.2 万トークンとキー認証に対応した OpenAI 互換 API を示しています。単一ユーザー用と複数ユーザー用の Docker Compose 構成が別々に用意され、イメージサイズは 9.5GB です。初回起動時のモデル再量子化におよそ 20GB が必要であると案内しています。変更を元に戻せるよう、パッチと適用・検証用スクリプトも提供しています。
README によると、RTX 3090・250W 条件での単一ユーザースループットは毎秒 127 トークン、回答がプロンプトを引用する場合は毎秒 381 トークンです。同時リクエスト 64 件では合計で毎秒 1,035 トークンを示しています。これらは作者側の計測値です。同じ GPU での_original vLLM との比較は文書にないため、性能上の優位性は独立に確認されていません。したがって、これらの数値は検証済みの優位性ではなく、再現を要するサービングレシピの結果と捉えるのが妥当です。