blockwayz/agens-engine

blockwayz/agens-engine 是一个 C++ 推理引擎，在单张消费级显卡上运行 Agens Volundr 模型，并以 OpenAI 兼容的聊天 API 对外提供。

GitHub 项目说明: Agens Engine: fast local inference for Agens Volundr on consumer GPUs

星标

★ 7

复刻

1

语言

C++

许可证

NOASSERTION