임베디드 장치 추론
마이크로컨트롤러, 휴대폰, 게임 콘솔 및 기타 자원이 제한된 장치를 위한 경량 추론 런타임. 전체 서버 클러스터와 로컬 모델 실행이 없는 범용 임베디드 에이전트 프레임워크는 제외.
| 프로젝트 | 하는 일 | 스타 | 언어 | 라이선스 | 최근 릴리스 |
|---|---|---|---|---|---|
| andrei-borcea/liyab | 메모리보다 큰 GGUF 모델을 플래시에서 스트리밍하고 열 상태에 맞춰 휴대폰에서 실행합니다. | ★ 7 | C++ | Apache-2.0 | — |
마이크로컨트롤러, 휴대폰, 게임 콘솔 및 기타 자원이 제한된 장치를 위한 경량 추론 런타임. 전체 서버 클러스터와 로컬 모델 실행이 없는 범용 임베디드 에이전트 프레임워크는 제외.
| 프로젝트 | 하는 일 | 스타 | 언어 | 라이선스 | 최근 릴리스 |
|---|---|---|---|---|---|
| andrei-borcea/liyab | 메모리보다 큰 GGUF 모델을 플래시에서 스트리밍하고 열 상태에 맞춰 휴대폰에서 실행합니다. | ★ 7 | C++ | Apache-2.0 | — |