kvcache-ai/ktransformers は CPU と GPU を組み合わせて大規模言語モデルの推論とファインチューニングを研究するフレームワークだ。GitHub リポジトリの最新リリースは v0.7.2 になる。集められた資料にはこのバージョンの変更内容が含まれておらず、新しい機能や修正は確認できない。
このプロジェクトは CPU と GPU に計算を分割するヘテロジニアス計算により、GPU に常駐させる必要のあるモデルメモリの削減に取り組んでいる。その手法は低ビットのエキスパート重みと CPU オフロードだ。README によると、kt-kernel のソースツリーは推論（Inference）と教師ありファインチューニング（SFT）を提供する。推論には AMX·AVX アクセラレーション、MoE 最適化、量子化、SGLang 連携が含まれる。SFT は CPU/GPU ハイブリッド学習、INT8·INT4 量子化、LoRA とフルファインチューニングに対応している。Python プロジェクトで、ライセンスは Apache-2.0 だ。
ただし、機能一覧だけから実際の速度や結果の品質を判断することはできない。集められた資料には性能測定も実際の導入事例もなく、v0.7.2 の具体的な変更内容も示されていない。そのため、このリリースで何が改善されたのか、メモリ削減がどの程度なのかは確認できない。このプロジェクトの方向性と README に書かれた機能は把握できるが、性能比較の根拠とするには資料が不足している。