gautam1858/banach 是一个推理工具,用于从本地存储读取并运行无法完全装入主内存的混合专家模型(MoE)。它用 Rust 编写,并以 Apache-2.0 许可证公开。最新版本是 v0.1.3。该仓库介绍的目标是让用户在自己的电脑上运行 300B–3T 规模的 MoE。但所提供的资料没有说明 v0.1.3 有哪些改动。
该工具的核心是:不把整个模型载入主内存,而是从存储中读取被选中的专家,并在内存预算之内进行处理。README 说明 plan 命令会基于模型头部计算预期速度和内存分配。仓库还描述了与 llama.cpp 对照 token 和 logits 的精度检查,以及持续集成检查。文章提出了在 64GB 台式机上尝试运行 Kimi K2 这类万亿参数级模型的思路。
作为性能依据的是文章中的 22GB 模型对比。仓库报告称在该模型上提示处理速度比 llama.cpp 快 2.2 倍,但这是项目自行给出的数据,且仅限于提示处理。所提供资料中没有其他模型或其他运行条件下的性能数据。因此,与其说这是确认了广泛性能优势的结果,更合适的理解是:它是在本地存储上运行大型 MoE 这一思路的初步依据。