blockwayz/agens-engine

blockwayz/agens-engine은 Agens Volundr 모델을 소비자용 그래픽카드 한 장에서 실행해 OpenAI 호환 채팅 API로 제공하는 C++ 추론 엔진이다.

GitHub 설명: Agens Engine: fast local inference for Agens Volundr on consumer GPUs

스타

★ 7

포크

1

언어

C++

라이선스

NOASSERTION