Devotd Github

cedriceuh/freetoken-rdna3

一个 FreeToken 调优构建版本,可在 AMD Radeon RX 7900 系列 GPU 上本地推理 Mixture-of-Experts 模型;该版本重新测量了所有配置文件和检查点的数值,并更新了 README 中的速度表。

GitHub 项目说明: Fast local LLM inference on AMD Radeon RX 7900 XTX / XT (RDNA3, ROCm): big Mixture-of-Experts models like Qwen3.8-Flash-Next on one or two consumer GPUs. Up to 4 parallel agents with 262k context each, or one 1M-token context, OpenAI/Anthropic API, NVFP4 and EXL3 checkpoints. A tuned build of FreeToken.

在 GitHub 查看 ↗
星标
★ 3
复刻
0
语言
Python
许可证
Apache-2.0

文章

1