flashinfer-ai/flashinfer

FlashInfer は、Cake の可変長 GQA 学習アテンションにおけるホスト側境界検証の欠落、int32 タイルカウンタの折り返し、apply の引数個数の問題を修正する正確性修正コミットを公開した。

GitHub の説明: FlashInfer: Kernel Library for LLM Serving

スター

★ 6.6K

フォーク

1.6K

言語

Cuda

ライセンス

Apache-2.0

最新リリース

v0.7.2