ohgeebtw/geezuz-qwen3.8-27b-dual-gpu は、Qwen3.8-27B GGUF の重みを2枚の GPU で CUDA メガカーネルにより実行するリポジトリです。CUDA メガカーネル(megakernel)は、複数の GPU 演算を1つのカーネルにまとめて処理する方式です。最新リリースは v0.3.2 です。このリポジトリはテンソル並列(tensor-parallel)、つまりモデルを複数の GPU に分けて一緒に計算する方式を採用します。open-jet の単一 GPU メガカーネルを PCIe P2P で2枚 GPU まで拡張したフォークです。
このリポジトリの構成は複数リクエストを前提としています。1サイクルで最大8件のリクエストを同時にデコードし、複数のリクエストが1つの KV キャッシュプールとプレフィックスキャッシュ(prefix cache)を共有します。KV キャッシュは attention 計算に必要な過去トークンのキーと値を保持する領域で、プレフィックスキャッシュは繰り返し現れる先頭部分を再計算せずに再利用する格納先です。デバイス内(on-device) MTP 推測デコード(speculative decoding)は候補トークンをまず生成して検証し、複数トークンをまとめて確定する方式です。Q4_K_M、Q5_K_M、Q6_K、Q8_0 の GGUF 形式に対応し、リポジトリにはコマンドライン実行ツールと OpenAI 互換サーバーが含まれています。README には llama.cpp 比で平均1.64倍の速度と、top トークン一致率・KL・perplexity の比較が掲載されています。ライセンスは AGPL-3.0、主な言語は Cuda です。
ただし v0.3.2 の変更点は根拠資料に記載されていないため、この版で何が変わったかは確認できません。README の1.64倍は特定の GPU 構成で作者の環境で測定された値であり、公開されている性能表は他の環境の性能に一般化できません。外部での再現が確認されるまでは、速度優位ではなく性能主張と見るのが妥当です。2026年10月に作成された star 7件のリポジトリであることも踏まえると、現段階で他の実装より速いと言い切るのはまだ早い段階です。