Devotd Github
发布推理与服务

mostlygeek/llama-swap v269 — 捕获保留、嵌入与指标

mostlygeek/llama-swap v269 新增了捕获的磁盘存储、嵌入模型支持、指标 PNG 导出以及按模型类型排序。

仓库信息mostlygeek/llama-swap ↗

mostlygeek/llama-swap v269 新增了捕获的磁盘存储、嵌入模型支持、指标 PNG 导出以及按模型类型排序。

GitHub 项目说明: Reliable model swapping for any local OpenAI/Anthropic compatible server - llama.cpp, vllm, etc

星标
★ 6.1K
复刻
533
语言
Go
许可证
MIT
最新版本
v269
查看原始来源 ↗在 GitHub 查看 ↗

mostlygeek/llama-swap 是一款在本地兼容 OpenAI 与 Anthropic 的服务器上切换模型的工具。2026 年 11 月 1 日发布的版本 v269 新增了把捕获保存到磁盘、使其在重启后依然保留的功能。同时还加入了嵌入模型支持、指标 PNG 导出,以及按模型类型排序显示模型。这些变更的来源是 GitHub 上的 v269 发布记录。

这个项目覆盖的范围是在包括 llama.cpp 和 vllm 在内的本地兼容 OpenAI 与 Anthropic 的服务器之间切换模型。v269 中可以看到的变化涉及捕获的保存方式、受支持的模型、导出指标的格式,以及展示模型时的排序依据。因此,这次发布更适合看作是在既有工具上追加这四项功能的更新,而不是介绍一款新的切换工具。捕获保存在磁盘上,重启后依然保留;指标可以导出为 PNG;嵌入模型支持与按模型类型排序也都写在了发布摘要中。

所提供的资料没有说明各项功能通过什么配置或流程来运作。受支持的嵌入模型范围、指标包含哪些项目、捕获的保存位置与保留条件也没有给出。性能数值或与此前版本的对比结果同样无法确认。因此,v269 的变更应理解为仅限于功能追加,仅凭这份资料难以判断其在实际使用中的效果或兼容范围。