kvcache-ai/mooncake 是 Moonshot AI 提供的 LLM 服务 Kimi 的服务平台。仓库中最新的版本是 v0.3.13.post1，给定记录中没有该版本包含的改动内容。
架构的核心是 KV cache，也就是 Attention 计算中使用的键与值的中间结果。Mooncake 把这些 KV 放在由多个服务器共同使用的分布式存储与传输结构中，并分为 Transfer Engine 与 Mooncake Store 两层。此外还包括 prefill（计算提示词并输出第一个 token 的阶段）与 decode（其后逐个生成 token 的阶段）的分离，以及在请求之间收集并复用缓存的 KV pooling。实现语言是 C++，许可证是 Apache-2.0。
README 说明，在真实工作负载下保持 SLO 的同时，Kimi 能够处理多 75% 的请求。仓库还公开了用于分析匿名化请求 trace 与 KV cache 的工具。该仓库创建于 2024 年 6 月 25 日，星标数为 6845。
不过边界也很清楚。记录中没有说明 v0.3.13.post1 与上一版本究竟有何不同，也没有给出 75% 这一数值来自哪种工作负载。既没有与其他服务框架的对比，也没有单独的基准测试数据。因此，更适合把这个仓库当作直接运营 Kimi 或构建 KV cache 共享结构的团队的参考材料，而要把它确定为通用服务平台还为时过早。