kvcache-ai/ktransformers

kvcache-ai/ktransformers 是一个结合 CPU 与 GPU 研究大语言模型推理与微调的框架。

GitHub 项目说明: A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations

星标

★ 19.6K

复刻

1.6K

语言

Python

许可证

Apache-2.0

最新版本

v0.7.2