Devotd Github
新着推論・サービング

happyme531/open_rknpu2_lm_infer — RK3588向けのDockerデプロイ対応

RK3588 NPU向けLLM推論エンジンopen_rknpu2_lm_inferに、ARM64コンテナイメージの公開経路とComposeデプロイテンプレートが追加された。

リポジトリ情報happyme531/open_rknpu2_lm_infer ↗

RK3588 NPU向けLLM推論エンジンopen_rknpu2_lm_inferに、ARM64コンテナイメージの公開経路とComposeデプロイテンプレートが追加された。

GitHub の説明: Fully open-source, high-performance LLM inference engine for the RK3588 NPU

スター
★ 13
フォーク
2
言語
Rust
ライセンス
AGPL-3.0
最新リリース
v0.3.1
原文を見る ↗GitHub で見る ↗

happyme531/open_rknpu2_lm_inferは、RK3588 NPU上でLLMを実行するオープンソースの推論エンジンである。2026年11月3日にマージされたコミット(84db49f)は、このプロジェクトにARM64コンテナイメージの公開経路とComposeデプロイテンプレートを追加した。

Dockerfileはdebian:bookworm-slimからv0.11.0リリースのtarballを取得し、実行ファイルと必要な共有ライブラリだけを選んでscratchイメージを作成する。デフォルトのコマンドはserve --host 0.0.0.0 --port 8080で、READMEに記載されているとおり、8080番ポートでOpenAI互換のLLM APIを公開する。compose.yamlはイメージghcr.io/happyme531/open_rknpu2_lm_infer:${RKNPU_VERSION:-0.11.0}をlinux/arm64に固定し、NPUのDRMデバイス(デフォルトは/dev/dri/renderD129)をコンテナに渡す。モデルディレクトリは/modelsに読み取り専用でマウントされ、チューニングキャッシュは別のボリュームに残る。バインドアドレスのデフォルトは127.0.0.1で、APIキーはOPEN_RKNPU_API_KEY環境変数で渡す。イメージのラベルにはライセンスがAGPL-3.0-onlyと記載されている。

イメージの公開は.github/workflows/container.ymlが担当する。release.ymlがリリースをアップロードした後に自動的にコンテナをビルドし、ci.ymlのworkflow_dispatchで特定のバージョンを入力すれば、既存のリリースだけを選んで公開することもできる。ビルド後にはコンテナ内で--versionの出力と、modelsサブコマンドが出力するJSONのversionおよびmodel_familiesを確認してからGHCRへプッシュし、最新リリースの場合にのみlatestタグが付与される。

ただし、このコミットで確認できたのはバージョン文字列とモデル一覧の出力までである。性能や精度の数値はコミット記録に存在せず、追加されたllm_generated_docs/DOCKER.mdとDOCKER_VALIDATION_20261104.mdの本文もこの記録には含まれていない。イメージのデフォルトタグは0.11.0であり、この変更が対象としているのは新機能ではなく既存リリースのデプロイ方法であるため、実際にデプロイ対象となるバージョンはリリースタグを直接確認する必要がある。