Devotd Github
新着推論・サービング

poisonxa16/pxa v4.0.0 — Pascal·Volta GPU 推論エンジン

poisonxa16/pxa v4.0.0 は Pascal·Volta GPU 向けの推論エンジンで、同じファイル基準での性能向上を主張している。

リポジトリ情報poisonxa16/pxa ↗

poisonxa16/pxa v4.0.0 は Pascal·Volta GPU 向けの推論エンジンで、同じファイル基準での性能向上を主張している。

GitHub の説明: The set-and-forget LLM engine for Pascal and Volta: PXQ codec + kernels, auto-tuned per card. Ready-to-run PXQ models in MODELS.md; benchmarks vs llama.cpp in the README.

スター
★ 98
フォーク
15
言語
C++
ライセンス
MIT
最新リリース
v4.0.0
原文を見る ↗GitHub で見る ↗

poisonxa16/pxa v4.0.0 は Pascal·Volta GPU 向けの言語モデル推論エンジンの新リリースだ。このバージョンで、同じファイルを基準にデコード速度 3 倍、プロンプト処理速度 8 倍の向上を主張している。pxa は llama.cpp を Pascal·Volta GPU に合わせて調整したフォークで、Tesla P100·V100 や GTX 10 系でモデルサーバーを動かすことを目標とする。

核心は該当 GPU 向けに調整した PXQ コーデックとカーネルだ。プロジェクトは、DP4A とテンソルコアを備えないチップを基準にカーネルを新規に書き直したと説明している。独自の PXQ·PXQN 形式のモデルをサポートし、通常の GGUF も読み込める。カードごとの計測値に基づいて設定を選ぶプランナーも提供すると文書化している。複数 GPU への分割実行、投機的デコード(speculative decoding)、エキスパートキャッシュ、量子化重みの処理も含まれる。OpenAI 互換 API とブラウザダッシュボードを提供し、ライセンスは MIT だ。

性能数値はプロジェクト側の主張である。README の性能比較は同じ機体で以前のバージョンと比較した値であり、詳細な数値は別のリリースノートに示されている。そのため、3 倍・8 倍という数字だけから、他の推論エンジンや他の機体でも同じ向上が得られるとは考えられない。比較条件を確認し、対象 GPU における結果として限定して読むべきである。