nipegun/moe-gguf-server

GGUF形式のMoEモデルをローカルで動かすnipegun/moe-gguf-serverが、リポジトリ全体を含む最初のコミットを公開し、PolyForm Noncommercial 1.0.0ライセンスも併せて追加した。

GitHub の説明: Like llama.cpp and FreeToken but crafted with nipegunian scalpel precision to achieve the fastest inference speed possible out of MoE models.

スター

★ 0

フォーク

0

言語

C++

ライセンス

NOASSERTION