gautam1858/banach は、RAM にすべては収まらない混合専門家モデル（MoE）をローカルストレージから読み込んで実行する推論ツールだ。Rust で書かれ、Apache-2.0 ライセンスで公開されている。最新リリースは v0.1.3。リポジトリは、ユーザーが自分の環境で 300B〜3T 規模の MoE を動かすことを目標として紹介している。ただし v0.1.3 で何が変わったかは、提供された資料には書かれていない。
このツールの要点は、モデル全体を RAM に載せ替えるのではなく、選択された専門家をストレージから読み取り、メモリ予算の範囲内で処理することだ。README によれば、plan コマンドはモデルヘッダーをもとに期待される速度とメモリ配分を計算する。リポジトリは llama.cpp とトークンおよびロジットを比較する精度検証と、継続的インテグレーションの検査についても説明している。この帖子は、64GB のデスクトップで Kimi K2 のような 1 兆パラメータ級モデルを試すというアプローチを示している。
性能の根拠として示されているのは、帖子にある 22GB モデルの比較だ。リポジトリは、そのモデルでプロンプト処理が llama.cpp より 2.2 倍速いと報告しているが、これはプロジェクト自身が提示した数値であり、プロンプト処理に限定されたものである。他のモデルや別の実行条件での性能は、提供された資料には示されていない。したがって、これは幅広い性能優位を確認した結果ではなく、大きな MoE をローカルストレージで動かそうというアプローチの初期的な根拠と捉えるのが妥当だろう。