Devotd Github
新着推論・サービング

thefahien/elpis-on-7900xtx — RX 7900 XTX 向け投機的デコーディング構成

AMD RX 7900 XTX で Qwen3.8-27B EXL3 と DFlash2 を同時に動かす設定と計測データをまとめたリポジトリ。

リポジトリ情報thefahien/elpis-on-7900xtx ↗

AMD RX 7900 XTX で Qwen3.8-27B EXL3 と DFlash2 を同時に動かす設定と計測データをまとめたリポジトリ。

GitHub の説明: Qwen3.8-27B EXL3 + DFlash2 speculative decoding on an AMD RX 7900 XTX (exllamav3-rocm): recipe, patches, benchmarks

スター
★ 8
フォーク
0
言語
Python
ライセンス
MIT
原文を見る ↗GitHub で見る ↗

thefahien/elpis-on-7900xtx は、AMD RX 7900 XTX で Qwen3.8-27B EXL3 と DFlash2 ドラフトモデルを同時に動かす設定を提供する。新しいリリースではなく、リポジトリの README に書かれたインストール手順と実行構成を扱う。対象は AMD グラフィックスカードでこのモデル組み合わせを構成したい人だ。リポジトリの説明では、exllamav3-rocm を使ったレシピ、パッチ、ベンチマークを扱うと示されている。

投機的デコーディング(speculative decoding)は、ドラフトモデルを併用して大規模モデルのテキスト生成を補助する方式だ。README には実行に必要なパッチとインストール手順に加えて、ベンチマークスクリプトと生結果ファイルも含まれている。文書は、同じ RX 7900 XTX 上で llama.cpp よりコードタスクの処理速度が高かったと報告している。したがって設定を進めつつ計測結果も併せて確認できる。ただし、この速度比較はリポジトリの文書が報告した結果である。

比較に使われた llama.cpp 側は別のより小さいモデルであり、出力品質の比較は行われていない。README は長いコンテキスト、温度、メモリ制限も制約として整理している。したがって報告された速度は、同じモデル同士の性能優位や結果の品質の根拠として読むことはできない。このリポジトリは RX 7900 XTX でモデル組み合わせを構成した方法と、限定的な比較結果を確認するための資料に近い。