Devotd Github
新着推論・サービング

nicejunjie/strata-rdna3 — RX 7900 XTX 向け Strata カスタム版

nicejunjie/strata-rdna3 の AMD RDNA3 向けの調整と、リポジトリに示されたスループット測定値を扱う。

リポジトリ情報nicejunjie/strata-rdna3 ↗

nicejunjie/strata-rdna3 の AMD RDNA3 向けの調整と、リポジトリに示されたスループット測定値を扱う。

GitHub の説明: Private Strata customizations for 9950x3d2+dual 7900xtx; upstream Niko1221/Strata

スター
★ 55
フォーク
12
言語
C++
ライセンス
MIT
原文を見る ↗GitHub で見る ↗

nicejunjie/strata-rdna3 は、上流プロジェクト Niko1221/Strata を基盤に、AMD RDNA3 グラフィックスカード、特に RX 7900 XTX に合わせたユーザー版である。リポジトリの説明では、9950x3d2 CPU とデュアル 7900xtx 構成を対象とした調整だと明言している。C++ で記述され、ライセンスは MIT である。登録されている最新リリースはない。

このリポジトリは、単一・デュアルのグラフィックスカードで複数の量子化形式とコンテキスト長をテストした結果を README に掲載している。リポジトリの投稿の記載では、プリフィルスループットはシングルカードで毎秒 3500 以上、デュアルカードで毎秒 7000 以上である。英文プロスのデコードはシングルカードで毎秒 81 トークン、デュアルカードで毎秒 127 トークンとして示され、コードのデコードはプロスより 20~25 パーセント速いとの記述がある。README は入力長と検索結果を確認する測定手順も説明し、カード間のテンソル並列処理とプロンプト長に応じた処理経路を取り上げている。

これらの数値はリポジトリの投稿と README に示された値である。README は複数の形式とコンテキスト長のテストおよび測定手順を含んでいるが、他の構成にそのまま当てはまると断定できる情報は FACTS にない。したがって、このフォークは RX 7900 XTX 構成に合わせた測定記録とみなすのが恰当である。