ohgeebtw/geezuz-qwen3.8-27b-dual-gpu

Qwen3.8-27B GGUF を2枚の GPU でテンソル並列の CUDA メガカーネルにより実行し、デバイス内推測デコードと共有 KV キャッシュ・プレフィックスキャッシュに対応したリポジトリの紹介。

GitHub の説明: Multi-GPU (tensor-parallel) CUDA megakernel for Qwen3.8-27B GGUF (Q4_K_M, Q5_K_M, Q6_K, Q8_0) with on-device MTP speculative decoding. Fork of open-jet's single-GPU megakernel, extended to 2 GPUs over P2P.

スター

★ 7

フォーク

2

言語

Cuda

ライセンス

AGPL-3.0

最新リリース

v0.3.2