Devotd Github
新发现推理与服务

nicejunjie/strata-rdna3 — 面向 RX 7900 XTX 的 Strata 定制版

介绍 nicejunjie/strata-rdna3 的 AMD RDNA3 定制,以及仓库中给出的吞吐量测量数据。

仓库信息nicejunjie/strata-rdna3 ↗

介绍 nicejunjie/strata-rdna3 的 AMD RDNA3 定制,以及仓库中给出的吞吐量测量数据。

GitHub 项目说明: Private Strata customizations for 9950x3d2+dual 7900xtx; upstream Niko1221/Strata

星标
★ 55
复刻
12
语言
C++
许可证
MIT
查看原始来源 ↗在 GitHub 查看 ↗

nicejunjie/strata-rdna3 是在上游项目 Niko1221/Strata 的基础上、面向 AMD RDNA3 显卡(尤其是 RX 7900 XTX)的用户版本。仓库说明称,该定制针对 9950x3d2 CPU 与双 7900xtx 配置。项目使用 C++ 编写,采用 MIT 许可证。没有登记任何最新发行版。

该仓库在 README 中给出了在单卡与双卡配置下测试多种量化格式和上下文长度的结果。根据仓库帖子的说明,预填充吞吐量在单卡上超过每秒 3500,在双卡上超过每秒 7000。英文散文解码在单卡上为每秒 81 个 token,在双卡上为每秒 127 个 token;代码解码比散文解码快 20~25%。README 还说明了检查输入长度和检索结果的测量流程,并涉及卡间的张量并行以及随提示词长度而变化的处理路径。

这些数字是仓库帖子和 README 中给出的值。README 虽然包含了多种格式与上下文长度的测试以及测量流程,但 FACTS 中没有可以断言这些结果同样适用于其他配置的信息。因此,把这个 fork 视为针对 RX 7900 XTX 配置的测量记录更为准确。