alexsjones/llmfit v1.1.17 は、自分の環境で動かせる大規模言語モデルを見つける Rust コマンドラインツールです。1 つのコマンドで数百のモデルとプロバイダーを調べ、ローカルで使う候補を選べます。最新リリースは v1.1.17 です。
このツールは CPU とシステムメモリ、GPU、VRAM、アクセラレータの構成を確認し、量子化レベルごとに適したモデルを推奨します。量子化はモデルの表現を減らすことで、より少ないメモリで実行できるようにする手法です。複数の要素を併せて調べるため、自分の環境で候補を絞り込む出発点が得られます。README が特に掲げている機能は、実測ベンチマークを共有する流れにあります。モデルをダウンロードして実行し、毎秒トークン数（tok/s）を測定してから、TUI（ターミナルユーザーインターフェース）からプルリクエストとして結果を送信できます。外部の gh CLI や別のアカウントなしに貢献でき、同じハードウェアでの測定結果は次のリリースで確認できます。したがって、推奨にとどまらず実測値を集める構造がその核心であり、推定値と実際の実行で得た数値を区別して見られる点も、この流れの意味です。
ただし、ハードウェアに合ったモデルを推薦するという発想自体はすでに一般的/aptmasters ](/ja/ja)...