Devotd Github
新发现推理与服务

happyme531/open_rknpu2_lm_infer — 面向 RK3588 的 Docker 部署支持

面向 RK3588 NPU 的 LLM 推理引擎 open_rknpu2_lm_infer 新增了 ARM64 容器镜像发布路径和 Compose 部署模板。

仓库信息happyme531/open_rknpu2_lm_infer ↗

面向 RK3588 NPU 的 LLM 推理引擎 open_rknpu2_lm_infer 新增了 ARM64 容器镜像发布路径和 Compose 部署模板。

GitHub 项目说明: Fully open-source, high-performance LLM inference engine for the RK3588 NPU

星标
★ 13
复刻
2
语言
Rust
许可证
AGPL-3.0
最新版本
v0.3.1
查看原始来源 ↗在 GitHub 查看 ↗

happyme531/open_rknpu2_lm_infer 是在 RK3588 NPU 上运行 LLM 的开源推理引擎。2026 年 11 月 3 日合并的提交(84db49f)为该项目添加了 ARM64 容器镜像发布路径和 Compose 部署模板。

Dockerfile 从 debian:bookworm-slim 下载 v0.11.0 发布版 tarball,只挑选可执行文件和所需的共享库,制造成 scratch 镜像。默认命令是 serve --host 0.0.0.0 --port 8080,并按 README 中所写,在 8080 端口暴露 OpenAI 兼容的 LLM API。compose.yaml 将镜像 ghcr.io/happyme531/open_rknpu2_lm_infer:${RKNPU_VERSION:-0.11.0} 固定为 linux/arm64,并把 NPU DRM 设备(默认 /dev/dri/renderD129)传入容器。模型目录以只读方式挂载到 /models,微调缓存则保留在单独的卷上。绑定地址默认为 127.0.0.1,API 密钥通过 OPEN_RKNPU_API_KEY 环境变量传递。镜像标签中写明许可证为 AGPL-3.0-only。

镜像发布由 .github/workflows/container.yml 负责。release.yml 上传发布版本后会自动构建容器,也可以通过 ci.yml 的 workflow_dispatch 输入特定版本,只选择已有的发布版本来发布。构建完成后会先检查容器中的 --version 输出以及 models 子命令生成的 JSON 中的 version 和 model_families,然后推送到 GHCR;只有在为最新发布版本时才会附加 latest 标签。

不过,这次提交确认的只有版本字符串和模型列表输出。提交记录中没有性能或准确率数据,新加入的 llm_generated_docs/DOCKER.md 和 DOCKER_VALIDATION_20261104.md 的正文也未包含在该记录中。镜像默认标签为 0.11.0,而这次变更针对的不是新功能而是既有发布版本的部署方式,因此实际部署的目标版本需要直接确认发布标签。