새 소식
ovg-project/kvcached v0.1.6 — 공유 GPU용 탄력적 KV cache
ovg-project/kvcached v0.1.6은 GPU 메모리를 탄력적으로 할당해 공유 환경의 LLM 서빙과 학습을 지원하는 KV cache 데몬이다.
프로젝트
ovg-project/kvcached
Virtualized Elastic KV Cache for Dynamic GPU Sharing and Beyond
GitHub에서 보기 ↗- 스타
- ★ 1.8K
- 포크
- 216
- 언어
- Python
- 라이선스
- Apache-2.0
- 최신 릴리스
- v0.1.6
게시물
1조건에 맞는 소식이 없습니다.