happyme531/open_rknpu2_lm_infer

RK3588 NPU向けLLM推論エンジンopen_rknpu2_lm_inferに、ARM64コンテナイメージの公開経路とComposeデプロイテンプレートが追加された。

GitHub の説明: Fully open-source, high-performance LLM inference engine for the RK3588 NPU

スター

★ 13

フォーク

2

言語

Rust

ライセンス

AGPL-3.0

最新リリース

v0.3.1