flashinfer-ai/flashinfer

FlashInfer 发布了一个正确性修正提交，修复了 Cake 可变长度 GQA 训练注意力中缺失的主机端边界校验、int32 瓦片计数器回绕以及 apply 参数个数问题。

GitHub 项目说明: FlashInfer: Kernel Library for LLM Serving

星标

★ 6.6K

复刻

1.6K

语言

Cuda

许可证

Apache-2.0

最新版本

v0.7.2