kvcache-ai/mooncake는 Moonshot AI가 제공하는 LLM 서비스 Kimi의 서빙 플랫폼이다. 저장소 기준 가장 최근 릴리스는 v0.3.13.post1이며, 이 버전에 담긴 변경 내용은 주어진 기록에 없다.
구조의 중심은 KV cache, 즉 Attention 계산에 쓰이는 키·값의 중간 결과다. Mooncake는 이 KV를 여러 서버가 함께 쓰는 분산 저장·전송 구조로 두고, Transfer Engine과 Mooncake Store 두 계층으로 나눈다. 여기에 prefill(프롬프트를 계산해 첫 토큰을 내는 단계)과 decode(그 뒤 토큰을 하나씩 이어 생성하는 단계)의 분리, 그리고 요청 사이에 캐시를 모아 재사용하는 KV pooling이 들어 있다. 구현 언어는 C++이고 라이선스는 Apache-2.0이다.
README는 실제 워크로드에서 SLO를 지키면서 Kimi가 75% 더 많은 요청을 처리할 수 있다고 설명한다. 익명화된 요청 trace와 KV cache를 분석하는 도구도 공개한다. 저장소는 2024년 6월 25일에 만들어졌고 별 수는 6845다.
다만 경계도 분명하다. v0.3.13.post1이 이전 버전과 무엇을 달리했는지는 기록에 없고, 75%라는 수치가 어떤 워크로드에서 나왔는지도 제시되지 않는다. 다른 서빙 프레임워크와의 비교나 별도 벤치마크 수치도 주어지지 않는다. 그래서 이 저장소는 Kimi를 직접 운영하거나 KV cache를 공유하는 구조를 세울 팀의 참고 자료로 읽는 편이 맞고, 범용 서빙 플랫폼으로 확정하려면 아직 이르다.