github.devotd.
新着推論・サービング

airockchip/rknn-llm release-v1.3.1 — RKLLM 変換・推論 SDK

Rockchip NPU 向け RKLLM 変換・推論 SDK airockchip/rknn-llm の最新リリース release-v1.3.1、対応チップ範囲、確認できない変更内容を整理する。

リポジトリ情報airockchip/rknn-llm ↗

Rockchip NPU 向け RKLLM 変換・推論 SDK airockchip/rknn-llm の最新リリース release-v1.3.1、対応チップ範囲、確認できない変更内容を整理する。

スター
★ 1.7K
フォーク
228
言語
Python
ライセンス
NOASSERTION
最新リリース
release-v1.3.1
原文を見る ↗GitHub で見る ↗

airockchip/rknn-llm は Rockchip チップに AI モデルを高速に展開するための RKLLM ソフトウェアスタックである。このリポジトリの公開された最新リリースは release-v1.3.1 である。今回のバージョンの変更内容は提供された資料には含まれていない。リポジトリ構成とリリース表記のみ確定できる。

構成は PC とボードに分かれる。RKLLM-Toolkit で PC 上でモデルを変換し、量子化(quantization、精度を落としてモデルサイズを減らす処理)して RKLLM フォーマットに変換し、開発ボードでは RKLLM C API で推論する。RKLLM Runtime は Rockchip NPU(ニューラルネットワーク演算専用のチップ)を対象とした C/C++ インターフェースを提供する。README は RK3588、RK3576、RK3562、RV1126B Series への対応と、ローカルマルチモーダルデモ(テキストや画像など複数の形式の入力をまとめて扱う例)を案内する。リポジトリは 2024-03-14 に作成され、Python で書かれており、スター数は 1725 である。

根拠が浅い箇所も明確である。ライセンスは NOASSERTION と表記され、配布条件は文書として整理されておらず、性能測定やベンチマークも示されていない。収集された momentum 指標は 10 点満点で 1.9 である。release-v1.3.1 が何を変えたかは、リリース表記だけでは知れない。README に整理された変換・実行経路を確認するまで、導入の根拠として用いにくい。