모델 런타임 도구
하드웨어에 적합한 모델 선택, 런타임 실행, 사용 현황 모니터링 및 로컬 모델 파일 관리를 지원하는 유틸리티. 추론 엔진 자체와 범용 LLM API 라우팅은 제외.
세부 분야
| 프로젝트 | 하는 일 | 스타 | 언어 | 라이선스 | 최근 릴리스 |
|---|---|---|---|---|---|
| alexsjones/llmfit | LLMFit은 CPU, 메모리, GPU, VRAM, 가속기 구성에 맞는 양자화 모델을 찾아 추천하는 로컬 하드웨어 도구입니다. | ★ 38.1K | Rust | MIT | v1.1.17 |
| receptron/laya | Node.js에서 ONNX 기반 Laya 결정 모델을 실행해 분류 확률과 점수를 산출합니다. | ★ 960 | TypeScript | MIT | v0.2.0 |