kvcache-ai/ktransformers

kvcache-ai/ktransformers は CPU と GPU を組み合わせて大規模言語モデルの推論とファインチューニングを研究するフレームワークだ。

GitHub の説明: A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations

スター

★ 19.6K

フォーク

1.6K

言語

Python

ライセンス

Apache-2.0

最新リリース

v0.7.2