blockwayz/agens-engine

blockwayz/agens-engine は Agens Volundr モデルをコンシューマー向けグラフィックスカード1枚で実行し、OpenAI互換のチャットAPIとして提供するC++推論エンジンである。

GitHub の説明: Agens Engine: fast local inference for Agens Volundr on consumer GPUs

スター

★ 7

フォーク

1

言語

C++

ライセンス

NOASSERTION