efficientmoe/moe-infinity

efficientmoe/moe-infinity가 Qwen3.5-MoE의 게이트 풀 어텐션 계층을 paged KV 캐시에 연결해 깨지던 다중 토큰 디코드를 고치는 커밋을 추가했다.

GitHub 설명: PyTorch library for cost-effective, fast and easy serving of MoE models.

스타

★ 373

포크

46

언어

Python

라이선스

Apache-2.0

최신 릴리스

v0.2.2