Devotd Github
新发现推理与服务

asf0/libstrix — 面向 Strix Halo 的 HIP 内核与 vLLM 插件

asf0/libstrix 是一个存储库,提供面向 AMD Strix Halo 的 HIP 内核,并通过 upstream vLLM 插件进行选择性应用。

仓库信息asf0/libstrix ↗

asf0/libstrix 是一个存储库,提供面向 AMD Strix Halo 的 HIP 内核,并通过 upstream vLLM 插件进行选择性应用。

GitHub 项目说明: HIP kernels for AMD Strix Halo (gfx1151) and a vLLM plugin that runs them on stock upstream vLLM: up to 31x faster prefill and ~2x decode at long context.

星标
★ 3
复刻
0
语言
Python
许可证
MIT
查看原始来源 ↗在 GitHub 查看 ↗

asf0/libstrix 提供面向 AMD Strix Halo(gfx1151, Radeon 8060S) 的 HIP 内核,以及在 upstream vLLM 中使用这些内核的插件。内核通过插件应用,无需修改 vLLM 源码,在其他图形设备上不会启用。仓库说明指出,在长上下文场景下 prefill 最多快 31 倍,decode 约快 2 倍。

每个内核都针对单一运算几何形状(geometry)编译。strix.select 调用用于确认内核支持的几何形状;若输入几何形状或数据类型条件不匹配,则不使用该内核,而是走 vLLM 的默认路径。因此其结构并非对所有输入都应用内核,而是在满足支持条件时才进行选择。README 中说明了内核注册表与选择功能,以及试验代码和基准测试配置。该存储库的主要实现语言是 Python,许可证为 MIT。

所给出的性能数字仅凭存储库自身资料未能独立复现,因此难以将其作为实际性能的依据下断言。适用对象也仅限于 Strix Halo 以及受支持的几何形状和类型条件。因此,应把这些性能主张视为尚需更多验证的存储库侧结果,并同时考虑其适用范围较窄这一点。