llamastash/llamastash 是一个 Rust 终端工具,把 llama.cpp、vLLM、SGLang 等本地语言模型运行引擎集中到一个程序中管理。仓库的最新发布版本是 v0.10.0。提供的资料中没有列出这一版本改动的内容,因此无法确认具体的变更。仓库说明将介绍的工具定位为通过同一个代理运行多个引擎与模型的工具。
这个项目的核心在于把各运行引擎互不相同的使用方式收敛到统一接口之下。它把图形界面、命令行、后台服务和 OpenAI 规范代理服务器放进同一个程序里。除 llama.cpp、vLLM、SGLang 之外,配置好的兼容服务器也会以相同的地址和接口对外提供。初始设置工具会准备执行器与启动模型,并测试配置。它还包含智能体技能功能,许可证为 MIT。因此,它面向的是希望即便更换引擎也保持同一套使用方式的本地运行环境。
仓库说明称提供安装与使用指南、各引擎的说明,以及测试与性能测量资料。不过资料给出的动量(momentum)分数为 1.5,低于新颖度 8.0、技术 7.0 和完成度 8.0。这说明,即便把多个引擎集中在一处管理的配置颇具看点,能够断定该项目推进力强劲的依据仍然有限。