kvcache-ai/ktransformers 是一个结合 CPU 与 GPU 研究大语言模型推理与微调的框架。GitHub 仓库的最新发布版本是 v0.7.2。所收集的资料中没有该版本的变更记录,因此无法确认新增的功能或修复。
该项目围绕把计算分配到 CPU 与 GPU 的异构计算展开,目标是减少必须常驻 GPU 的模型内存,其手段是低比特专家权重与 CPU 卸载。根据 README,kt-kernel 源码树同时提供推理(Inference)与有监督微调(SFT)。推理部分包含 AMX·AVX 加速、MoE 优化、量化以及 SGLang 集成。SFT 支持 CPU/GPU 混合训练、INT8·INT4 量化、LoRA 与全量微调。这是一个 Python 项目,采用 Apache-2.0 许可证。
不过,仅凭功能清单无法判断实际速度或结果质量。所收集的资料中没有性能测量或真实落地案例,v0.7.2 的具体改动内容也未给出。因此,本次发布究竟改进了什么、内存节省了多少都无法确认。该项目的方向与 README 中列出的功能可以了解,但作为性能对比的依据,资料仍然不足。