ovg-project/kvcached は共有 GPU 環境で LLM のサービングと学習をサポートする KV cache デーモンです。GitHub で公開されている最新リリースは v0.1.6 です。提供された資料には、このバージョンで変更された項目が具体的に記載されていません。このプロジェクトの中核は、GPU の仮想アドレスと実際の物理メモリ割り当てを分離する方式にあります。最初には仮想領域を確保し、実際に使用するときに物理 GPU メモリを接続して、KV cache を弾力的に割り当てます。
この方式は、複数のモデルが GPU を共有するときの KV cache のメモリボトルネック dealtする設計です。トラフィックに応じてメモリを割り当て・回収し、モデルの立ち上げや停止に利用できます。v0.1.6 時点で vLLM は v0.17.0 以降をサポートし、v0.30.0 まで検証済みです。SGLang は v0.5.11 以降をサポートし、v0.5.20 まで検証済みです。自動プレフィックスキャッシュ、パイプライン並列化、アイドルモデルのスリープ、メモリ上限制御も含みます。Python 3.10 から 3.13 に対応し、Apache-2.0 ライセンスで公開されています。
README は本文でメモリ削減量や性能改善の数値を提示せず、外部ブログを参照しています。そのため機能とエンジン対応範囲は確認できますが、実際の運用で得られる効果の 크さは、提供された資料だけでは判断が 어렵습니다。共有 GPU のメモリ管理方式として具体的な実装は用意されていますが、導入效果的は別途検証が必要な段階にとどまります。