モデルランタイムツール
ハードウェアに合うモデルの選択、ランタイムの起動、使用状況の監視、ローカルモデルファイルの管理を行うユーティリティ。推論エンジン自体と汎用 LLM API ルーティングは含まない。
詳細分野
| プロジェクト | 用途 | スター | 言語 | ライセンス | 最新リリース |
|---|---|---|---|---|---|
| alexsjones/llmfit | LLMFitはCPU、メモリ、GPU、VRAM、アクセラレータを確認し、適合する量子化モデルを絞り込むローカル選定ツールです。 | ★ 38.1K | Rust | MIT | v1.1.17 |
| receptron/laya | Node.jsでLaya ONNX意思決定モデルを実行し、分類確率とスコアを算出します。 | ★ 960 | TypeScript | MIT | v0.2.0 |