happyme531/open_rknpu2_lm_infer

RK3588 NPU용 LLM 추론 엔진 open_rknpu2_lm_infer에 ARM64 컨테이너 이미지 발행 경로와 Compose 배포 템플릿이 추가됐다.

GitHub 설명: Fully open-source, high-performance LLM inference engine for the RK3588 NPU

스타

★ 13

포크

2

언어

Rust

라이선스

AGPL-3.0

최신 릴리스

v0.3.1