模型运行时工具
用于选择适合硬件的模型、启动运行时、监控使用情况和管理本地模型文件的实用工具;不包括推理引擎本身和通用 LLM API 路由。
子领域
| 项目 | 用途 | Star | 语言 | 许可证 | 最新版本 |
|---|---|---|---|---|---|
| alexsjones/llmfit | LLMFit 检查 CPU、内存、GPU、VRAM 和加速器配置,并推荐适合本地硬件的量化模型。 | ★ 38.1K | Rust | MIT | v1.1.17 |
| receptron/laya | 在 Node.js 中运行 Laya ONNX 决策模型,输出校准后的分类概率和分数。 | ★ 960 | TypeScript | MIT | v0.2.0 |