Devotd Github
新着推論・サービング

dylanatl15/engine-lab — 単一 Radeon VII 向け llama.cpp パッチ

dylanatl15/engine-lab は、llama.cpp のパッチと実行ツール、計測記録を通じて、単一の 16GB Radeon VII で大型混合 Experts モデルを実行する方法をまとめたリポジトリである。

リポジトリ情報dylanatl15/engine-lab ↗

dylanatl15/engine-lab は、llama.cpp のパッチと実行ツール、計測記録を通じて、単一の 16GB Radeon VII で大型混合 Experts モデルを実行する方法をまとめたリポジトリである。

GitHub の説明: Run a 125B-class MoE (Qwen3.8-Flash-Next) at ~27 t/s on ONE 16 GB Radeon VII: expert-cache patches, benchmarks, profiling notes and dead ends

スター
★ 0
フォーク
0
言語
C++
ライセンス
NOASSERTION
原文を見る ↗GitHub で見る ↗

dylanatl15/engine-lab は新しい推論エンジンではなく、既存の llama.cpp に適用するパッチの集合である。公開されている最新リリースやバージョン情報は存在しない。リポジトリの説明では、混合 Experts モデル(MoE)Qwen3.8-Flash-Next を単一の 16GB Radeon VII で約 27 t/s で実行すると記されている。README には、モデルの重みをホストメモリに置き、頻繁に使う Experts をグラフィックスメモリにキャッシュする方式と、それに関する実験がまとめられている。

このリポジトリは、性能低下の原因を演算不足ではなく重みの配置の問題として特定し、キャッシュとデータ転送を改善するパッチを取り上げている。固定バッファ転送、並列コピー、デマンド 페ージングをはじめ、独立カーネルの融合や実行スケジューリングの変更も比較している。実行ツールとテストハーネス、計測記録、失敗例もあわせて提供し、特定環境に llama.cpp を適応させる過程を示している。新しいエンジンを提供するのではなく、既存コードの実行経路を試行するための資料に近い。

性能数値は、特定のグラフィックスカードと構成で得られた結果である。リポジトリの説明は約 27 t/s を示すが、調査記録には毎秒 24 トークンまでの値があり、数値は一致していない。そのため他のハードウェアの性能基準として一般化することは難しい。ライセンスは NOASSERTION と表示され確認できず、公開リリースもない。現時点では、一般的な配布物ではなく、再現条件を調べるための実験記録として捉えるのが妥当である。