新发现
ovg-project/kvcached v0.1.6 — 面向共享 GPU 的弹性 KV cache
ovg-project/kvcached v0.1.6 是一个 KV cache 守护进程，通过弹性分配 GPU 内存来支持共享环境中的 LLM 服务与训练。
项目
ovg-project/kvcached
Virtualized Elastic KV Cache for Dynamic GPU Sharing and Beyond
在 GitHub 查看 ↗- 星标
- ★ 1.8K
- 复刻
- 216
- 语言
- Python
- 许可证
- Apache-2.0
- 最新版本
- v0.1.6
文章
1没有符合条件的动态。