Devotd Github
新着推論・サービング

bpx03/qengine v1.0 — RTX 3090 向け Qwen3.8-27B INT4 推論エンジン

bpx03/qengine v1.0 は Qwen3.8-27B INT4 と RTX 3090 の構成をターゲットとした C++・CUDA 推論エンジンである。

リポジトリ情報bpx03/qengine ↗

bpx03/qengine v1.0 は Qwen3.8-27B INT4 と RTX 3090 の構成をターゲットとした C++・CUDA 推論エンジンである。

GitHub の説明: Source-available C++/CUDA inference engine for Qwen3.8-27B INT4 on 3x RTX 3090

スター
★ 4
フォーク
0
言語
Cuda
ライセンス
NOASSERTION
最新リリース
v1.0
原文を見る ↗GitHub で見る ↗

bpx03/qengine は Qwen3.8-27B INT4 モデルを複数の RTX 3090 で実行するために作られた C++・CUDA 推論エンジンである。リポジトリの最新リリースは v1.0 である。README は連続バッチ(continuous batching)、投機的デコード(speculative decoding)、KV キャッシュ再利用、画像入力を対応機能として紹介している。プロジェクトの範囲は、そのモデルとハードウェア構成においてこれらの機能が提供される点にある。

主な構成は RTX 3090 を 3 枚使う PCX ベースのテンソル並列実行である。サーバは共有ライブラリを読み込み、OpenAI および Anthropic 互換の API を提供し、Claude Code のようなツールと接続できると説明している。2 枚構成の性能測定値も公開されている。したがって汎用的な推論エンジンというよりは、特定のモデルとグラフィックスカードの組み合わせに合わせた実行経路とサーバー接続方法を提供するプロジェクトに近い。

ただし、公開されている性能測定は、変更された NVIDIA カーネルドライバによってグラフィックスカード同士が直接通信する構成を前提としている。他のグラフィックスカードやモデルに対するサポートは限定的であると README は明かしている。ライセンスは NOASSERTION と記載されているため、この資料だけでは利用条件を確認できない。性能結果をそのまま他環境へ適用するのではなく、文書に書かれたハードウェアとドライバの条件の中で検討すべきプロジェクトである。