新着
efficientmoe/moe-infinity — Qwen3.5-MoE paged KV キャッシュサービング
efficientmoe/moe-infinity は、Qwen3.5-MoE のゲート付きフルアテンション層を paged KV キャッシュに接続することで、壊れていた複数トークンのデコードを修正するコミットを追加した。
efficientmoe/moe-infinity
efficientmoe/moe-infinity は、Qwen3.5-MoE のゲート付きフルアテンション層を paged KV キャッシュに接続することで、壊れていた複数トークンのデコードを修正するコミットを追加した。
GitHub の説明: PyTorch library for cost-effective, fast and easy serving of MoE models.
GitHub で見る ↗- スター
- ★ 373
- フォーク
- 46
- 言語
- Python
- ライセンス
- Apache-2.0
- 最新リリース
- v0.2.2
投稿
1該当するニュースはありません。