kvcache-ai/mooncake は Moonshot AI が提供する LLM サービス Kimi のサービングプラットフォームである。リポジトリ上の最新リリースは v0.3.13.post1 であり、このバージョンに含まれる変更内容は提示された記録にない。
構造の中心は KV キャッシュ、つまり Attention 計算で使われるキー・値の計算結果である。Mooncake はこの KV を複数サーバーが共有する分散保存・転送構造に置き、Transfer Engine と Mooncake Store の 2 層に分けている。ここに prefill（プロンプトを計算して最初のトークンを出す段階）と decode（その後トークンを一つずつ生成する段階）の分離、そしてリクエスト間でキャッシュを集めて再利用する KV pooling が加わっている。実装言語は C++、ライセンスは Apache-2.0 である。
README では、実際のワークロードで SLO を守りながら Kimi が 75% 多くのリクエストを処理できると説明している。匿名化したリクエスト trace と KV キャッシュを分析するツールも公開している。リポジトリは 2024 年 6 月 25 日に作成され、スター数は 6845 である。
ただし境界も明確である。v0.3.13.post1 が以前のバージョンと何 달라졌かは記録にないまま、75% という数値がどのワークロードから得られたのかも示されていない。他のサービスフレームワークとの比較や独立したベンチマーク数値も提示されていない。したがって、このリポジトリは Kimi を直接運用する、あるいは KV キャッシュを共有する仕組みを構築するチームのための参考資料として読むのが妥当であり、汎用的なサービングプラットフォームとして確定するにはまだ早い。