KV 캐시
더 빠르거나 더 긴 컨텍스트의 추론을 위한 KV 캐시 구현, 가상화, 멀티플렉싱, 압축 및 영속화. 범용 디스크 캐시와 프롬프트 토큰 과금 도구는 제외.
| 프로젝트 | 하는 일 | 스타 | 언어 | 라이선스 | 최근 릴리스 |
|---|---|---|---|---|---|
| kvmem/kvmem | llama.cpp와 NInfer 간 KV 메모리를 가상화해 호스트와 GPU 사이에서 오프로드하는 구성요소입니다. | ★ 1.1K | C++ | — | v0.18.0 |
더 빠르거나 더 긴 컨텍스트의 추론을 위한 KV 캐시 구현, 가상화, 멀티플렉싱, 압축 및 영속화. 범용 디스크 캐시와 프롬프트 토큰 과금 도구는 제외.
| 프로젝트 | 하는 일 | 스타 | 언어 | 라이선스 | 최근 릴리스 |
|---|---|---|---|---|---|
| kvmem/kvmem | llama.cpp와 NInfer 간 KV 메모리를 가상화해 호스트와 GPU 사이에서 오프로드하는 구성요소입니다. | ★ 1.1K | C++ | — | v0.18.0 |