新发现
efficientmoe/moe-infinity — Qwen3.5-MoE 分页 KV 缓存服务
efficientmoe/moe-infinity 新增了一个提交，把 Qwen3.5-MoE 的门控全注意力层连接到分页 KV 缓存上，修复了原本会崩坏的多 token 解码。
efficientmoe/moe-infinity
efficientmoe/moe-infinity 新增了一个提交，把 Qwen3.5-MoE 的门控全注意力层连接到分页 KV 缓存上，修复了原本会崩坏的多 token 解码。
GitHub 项目说明: PyTorch library for cost-effective, fast and easy serving of MoE models.
在 GitHub 查看 ↗- 星标
- ★ 373
- 复刻
- 46
- 语言
- Python
- 许可证
- Apache-2.0
- 最新版本
- v0.2.2
文章
1没有符合条件的动态。