cedriceuh/freetoken-rdna3 是 FreeToken 的一个调优构建版本,可在一到两张消费级 AMD Radeon RX 7900 XTX/XT(RDNA3)显卡上对 Qwen3.8-Flash-Next 之类的 Mixture-of-Experts(MoE)模型进行本地推理。2026 年 11 月 6 日的提交 173df60 在已合并至 e5856ac 的状态下重新测量了所有配置文件和检查点(NVFP4、EXL3 3.05/4.05 bpw),并替换了 README 的速度表和横幅。修改文件 15 个,改动 396 行(新增 215 行,删除 181 行),并且并非源代码,而是文档和配置文件(rdna3/profiles/*.env)方面的改动。
变化最大的是解码(TG,每秒生成 token 数)。在 RX 7900 XTX+XT 成对配置下,NVFP4 从 92-115 tok/s 提升到 107-133 tok/s,EXL3 3.05 bpw 从 117-145 tok/s 提升到 134-168 tok/s,EXL3 4.05 bpw 从 105-112 tok/s 提升到 118-128 tok/s。XTX 单独使用时,NVFP4 从 38-47 提升到 45-54 tok/s,XT 单独使用时从 30-36 提升到 36-42 tok/s。根据提交消息,读取新块的吞吐(PP)和 agent 轮次的首 token 延迟保持不变,但在 serve.sh 的采样设置中,单个请求达到 122.1 tok/s,高于此前记录的 106.2 tok/s。
这些数值是项目在自身环境中重新测得的。据提交消息说明,表格中的每一行都会用 rdna3/serve.sh 逐个启动服务器,保持配置文件原样,先运行一次以填充内核缓存,然后在镜像 640e1e5 上以贪心解码进行测量。19 个服务器均未出现 GPU 错误,但有一台关闭了 MTP(Multi-Token Prediction)头(一次预测多个 token 的辅助装置)的服务器在前 4 分钟解码缓慢,在重跑中未能复现。横幅中整体刻度从 150 变为 175 tok/s 是图形坐标轴刻度的调整,并非单独的测量值。
因此,这个提交更接近一份验证记录,而不是改进代码。对于想在 AMD 消费级显卡上本地运行 MoE 的人而言,这些数值值得参考,但并未给出许可证信息和外部验证,部分延迟也仍未得到解释。与其照单全信,不如各自在自己的显卡配置中进行确认。