KV キャッシュ

より高速または長いコンテキストでの推論のための KV キャッシュ実装、仮想化、マルチプレクシング、圧縮、永続化。汎用ディスクキャッシュとプロンプトトークン課金ツールは含まない。