github.devotd.
新发现推理与服务

airockchip/rknn-llm release-v1.3.1 — RKLLM 转换与推理 SDK

梳理面向 Rockchip NPU 的 RKLLM 转换与推理 SDK airockchip/rknn-llm 的最新版本 release-v1.3.1、支持的芯片范围,以及未能确认的变更内容。

仓库信息airockchip/rknn-llm ↗

梳理面向 Rockchip NPU 的 RKLLM 转换与推理 SDK airockchip/rknn-llm 的最新版本 release-v1.3.1、支持的芯片范围,以及未能确认的变更内容。

星标
★ 1.7K
复刻
228
语言
Python
许可证
NOASSERTION
最新版本
release-v1.3.1
查看原始来源 ↗在 GitHub 查看 ↗

airockchip/rknn-llm 是用于在 Rockchip 芯片上快速部署 AI 模型的 RKLLM 软件栈。该仓库公开的最新版本是 release-v1.3.1。本次版本的变更内容并未包含在所提供的资料中,只能确认仓库结构与版本标注。

其结构分为 PC 端与开发板端。通过 RKLLM-Toolkit 在 PC 上转换并量化模型(quantization,即降低精度以缩小模型体积的处理),生成 RKLLM 格式,然后在开发板上通过 RKLLM C API 进行推理。RKLLM Runtime 面向 Rockchip NPU(专用于神经网络运算的芯片)提供 C/C++ 接口。README 说明支持 RK3588、RK3576、RK3562、RV1126B Series,并提供本地多模态演示(同时处理文本与图像等多种输入形式的示例)。该仓库创建于 2024-03-14,以 Python 编写,星标数为 1725。

证据薄弱之处同样明确。许可证标注为 NOASSERTION,分发条件没有文档说明,也没有给出性能测量或基准测试。收集到的 momentum 指标为 10 分中的 1.9。release-v1.3.1 究竟改动了什么,仅凭版本标注无法得知。在确认 README 中整理的转换与运行路径之前,难以将其作为引入依据。