github.devotd.

模型运行时工具

用于选择适合硬件的模型、启动运行时、监控使用情况和管理本地模型文件的实用工具;不包括推理引擎本身和通用 LLM API 路由。

子领域

该领域的项目 (2)
项目用途Star语言许可证最新版本
alexsjones/llmfitLLMFit 检查 CPU、内存、GPU、VRAM 和加速器配置,并推荐适合本地硬件的量化模型。★ 38.1KRustMITv1.1.17
receptron/laya在 Node.js 中运行 Laya ONNX 决策模型,输出校准后的分类概率和分数。★ 960TypeScriptMITv0.2.0