mostlygeek/llama-swap

mostlygeek/llama-swap は、OpenAI・Anthropic 互換のローカルモデルサーバーを接続し、リクエストに応じてモデルを切り替える Go ツール。

GitHub の説明: Reliable model swapping for any local OpenAI/Anthropic compatible server - llama.cpp, vllm, etc

スター

★ 6.1K

フォーク

523

言語

Go

ライセンス

MIT

最新リリース

v267