mostlygeek/llama-swap 是一个服务器中继工具,用于在本地运行多种生成式人工智能模型,并根据请求切换模型。最新版本是 v267。所提供的信息没有列出该版本变更的内容,因此无法将某项具体功能变更作为发布内容来介绍。该工具使用 Go 编写,以 MIT 许可证公开。
该工具支持兼容 OpenAI 和 Anthropic API 的服务器,并介绍称除 llama.cpp 和 vLLM 之外,还可以连接 stable-diffusion.cpp、audio.cpp、ComfyUI 等服务器。根据 README,一个配置文件即可设定模型切换与并行运行的组合,未使用的模型可以自动卸载,也可以在启动时预先加载。它还提供网页界面。其结构不是分别管理各个模型服务器,而是通过中继工具来选择所需的模型。另有说明称,它由一个可执行文件和一个配置文件构成,不依赖外部依赖。
因此可以确认的核心是,它帮助用户在同一个工具中切换使用多种类型的本地模型服务器。不过,仅凭所提供的信息无法判断 v267 的具体变更内容,也无法判断各种服务器组合的稳定性。与其仅凭版本号就断定本次版本的改进之处,把观察限定在可确认的功能范围内更准确。