github.devotd.
새 소식추론/서빙

airockchip/rknn-llm release-v1.3.1 — RKLLM 변환·추론 SDK

Rockchip NPU용 RKLLM 변환·추론 SDK airockchip/rknn-llm의 최신 릴리스 release-v1.3.1과 지원 칩 범위, 확인되지 않은 변경 내역을 정리한다.

저장소 정보airockchip/rknn-llm ↗

Rockchip NPU용 RKLLM 변환·추론 SDK airockchip/rknn-llm의 최신 릴리스 release-v1.3.1과 지원 칩 범위, 확인되지 않은 변경 내역을 정리한다.

스타
★ 1.7K
포크
228
언어
Python
라이선스
NOASSERTION
최신 릴리스
release-v1.3.1
원문 보기 ↗GitHub에서 보기 ↗

airockchip/rknn-llm은 Rockchip 칩에 AI 모델을 빠르게 배포하기 위한 RKLLM 소프트웨어 스택이다. 이 저장소의 공개된 최신 릴리스는 release-v1.3.1이다. 이번 버전의 변경 내역은 제공된 자료에 담겨 있지 않다. 저장소 구조와 릴리스 표기까지만 확정할 수 있다.

구조는 PC와 보드로 나뉜다. RKLLM-Toolkit으로 PC에서 모델을 변환하고 양자화(quantization, 정밀도를 낮춰 모델 크기를 줄이는 처리)해 RKLLM 포맷으로 만든 뒤, 개발 보드에서는 RKLLM C API로 추론한다. RKLLM Runtime은 Rockchip NPU(신경망 연산 전용 칩)를 대상으로 한 C/C++ 인터페이스를 제공한다. README는 RK3588, RK3576, RK3562, RV1126B Series 지원과 로컬 멀티모달 데모(텍스트와 이미지 등 여러 형식의 입력을 함께 다루는 예제)를 안내한다. 저장소는 2024-03-14에 생성됐고 Python으로 작성됐으며, 별 수는 1725다.

근거가 얕은 지점도 분명하다. 라이선스는 NOASSERTION으로 표기돼 배포 조건이 문서로 정리돼 있지 않고, 성능 측정이나 벤치마크는 제시되지 않는다. 수집된 모멘텀 지표도 10점 만점에 1.9다. release-v1.3.1이 무엇을 바꿨는지는 릴리스 표기만으로 알 수 없다. README에 정리된 변환·실행 경로를 확인하기 전에는 도입 근거로 삼기 어렵다.