github.devotd.

モデルランタイムツール

ハードウェアに合うモデルの選択、ランタイムの起動、使用状況の監視、ローカルモデルファイルの管理を行うユーティリティ。推論エンジン自体と汎用 LLM API ルーティングは含まない。

詳細分野

この分野のプロジェクト (2)
プロジェクト用途スター言語ライセンス最新リリース
alexsjones/llmfitLLMFitはCPU、メモリ、GPU、VRAM、アクセラレータを確認し、適合する量子化モデルを絞り込むローカル選定ツールです。★ 38.1KRustMITv1.1.17
receptron/layaNode.jsでLaya ONNX意思決定モデルを実行し、分類確率とスコアを算出します。★ 960TypeScriptMITv0.2.0