flashinfer-ai/flashinfer

FlashInfer가 Cake의 가변 길이 GQA 학습 어텐션에서 호스트 경계 검증 누락, int32 타일 카운터 되돌림, apply 인자 수 문제를 고친 정확성 수정 커밋을 게시했다.

GitHub 설명: FlashInfer: Kernel Library for LLM Serving

스타

★ 6.6K

포크

1.6K

언어

Cuda

라이선스

Apache-2.0

최신 릴리스

v0.7.2