Devotd Github
新发现推理与服务

gautam1858/banach v0.1.3 — 基于 NVMe 的 MoE 推理引擎

gautam1858/banach 是一个从 NVMe 读取并运行混合专家模型的 Rust 推理工具。

仓库信息gautam1858/banach ↗

gautam1858/banach 是一个从 NVMe 读取并运行混合专家模型的 Rust 推理工具。

GitHub 项目说明: Runs everything, needed for the giants. Local LLM inference that fits 300B–3T Mixture-of-Experts models onto the machine you already own: exact weights on NVMe, a precision ladder in RAM, certified fidelity, honest predictions before you download.

星标
★ 6
复刻
0
语言
Rust
许可证
Apache-2.0
最新版本
v0.1.3
查看原始来源 ↗在 GitHub 查看 ↗

gautam1858/banach 是一个推理工具,用于从本地存储读取并运行无法完全装入主内存的混合专家模型(MoE)。它用 Rust 编写,并以 Apache-2.0 许可证公开。最新版本是 v0.1.3。该仓库介绍的目标是让用户在自己的电脑上运行 300B–3T 规模的 MoE。但所提供的资料没有说明 v0.1.3 有哪些改动。

该工具的核心是:不把整个模型载入主内存,而是从存储中读取被选中的专家,并在内存预算之内进行处理。README 说明 plan 命令会基于模型头部计算预期速度和内存分配。仓库还描述了与 llama.cpp 对照 token 和 logits 的精度检查,以及持续集成检查。文章提出了在 64GB 台式机上尝试运行 Kimi K2 这类万亿参数级模型的思路。

作为性能依据的是文章中的 22GB 模型对比。仓库报告称在该模型上提示处理速度比 llama.cpp 快 2.2 倍,但这是项目自行给出的数据,且仅限于提示处理。所提供资料中没有其他模型或其他运行条件下的性能数据。因此,与其说这是确认了广泛性能优势的结果,更合适的理解是:它是在本地存储上运行大型 MoE 这一思路的初步依据。