kvcache-ai/ktransformers

kvcache-ai/ktransformers는 CPU와 GPU를 함께 활용해 대형 언어 모델의 추론과 파인튜닝을 연구하는 프레임워크다.

GitHub 설명: A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations

스타

★ 19.6K

포크

1.6K

언어

Python

라이선스

Apache-2.0

최신 릴리스

v0.7.2