Devotd Github
新发现推理与服务

kvcache-ai/ktransformers v0.7.2 — CPU·GPU 异构计算推理框架

kvcache-ai/ktransformers 是一个结合 CPU 与 GPU 研究大语言模型推理与微调的框架。

仓库信息kvcache-ai/ktransformers ↗

kvcache-ai/ktransformers 是一个结合 CPU 与 GPU 研究大语言模型推理与微调的框架。

GitHub 项目说明: A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations

星标
★ 19.6K
复刻
1.6K
语言
Python
许可证
Apache-2.0
最新版本
v0.7.2
查看原始来源 ↗在 GitHub 查看 ↗

kvcache-ai/ktransformers 是一个结合 CPU 与 GPU 研究大语言模型推理与微调的框架。GitHub 仓库的最新发布版本是 v0.7.2。所收集的资料中没有该版本的变更记录,因此无法确认新增的功能或修复。

该项目围绕把计算分配到 CPU 与 GPU 的异构计算展开,目标是减少必须常驻 GPU 的模型内存,其手段是低比特专家权重与 CPU 卸载。根据 README,kt-kernel 源码树同时提供推理(Inference)与有监督微调(SFT)。推理部分包含 AMX·AVX 加速、MoE 优化、量化以及 SGLang 集成。SFT 支持 CPU/GPU 混合训练、INT8·INT4 量化、LoRA 与全量微调。这是一个 Python 项目,采用 Apache-2.0 许可证。

不过,仅凭功能清单无法判断实际速度或结果质量。所收集的资料中没有性能测量或真实落地案例,v0.7.2 的具体改动内容也未给出。因此,本次发布究竟改进了什么、内存节省了多少都无法确认。该项目的方向与 README 中列出的功能可以了解,但作为性能对比的依据,资料仍然不足。