happyme531/open_rknpu2_lm_infer

面向 RK3588 NPU 的 LLM 推理引擎 open_rknpu2_lm_infer 新增了 ARM64 容器镜像发布路径和 Compose 部署模板。

GitHub 项目说明: Fully open-source, high-performance LLM inference engine for the RK3588 NPU

星标

★ 13

复刻

2

语言

Rust

许可证

AGPL-3.0

最新版本

v0.3.1