Devotd Github

cedriceuh/freetoken-rdna3

AMD Radeon RX 7900 系 GPU で Mixture-of-Experts モデルをローカル推論する FreeToken のチューニングビルドが、全プロファイルとチェックポイントの測定値をやり直して README の速度表を更新した。

GitHub の説明: Fast local LLM inference on AMD Radeon RX 7900 XTX / XT (RDNA3, ROCm): big Mixture-of-Experts models like Qwen3.8-Flash-Next on one or two consumer GPUs. Up to 4 parallel agents with 262k context each, or one 1M-token context, OpenAI/Anthropic API, NVFP4 and EXL3 checkpoints. A tuned build of FreeToken.

GitHub で見る ↗
スター
★ 3
フォーク
0
言語
Python
ライセンス
Apache-2.0

投稿

1