새 소식
andrei-borcea/liyab — 휴대전화용 GGUF 추론 엔진
andrei-borcea/liyab는 RAM보다 큰 GGUF 모델을 플래시에서 스트리밍해 휴대전화에서 실행하는 C++20 추론 엔진이다.
🔥 Run large open language models on your phone. A C++20 GGUF inference engine that streams models larger than RAM from flash, paces itself by the device's thermal forecast, and powers a private on-device assistant. Android · iOS · macOS · Linux.
GitHub에서 보기 ↗andrei-borcea/liyab는 RAM보다 큰 GGUF 모델을 플래시에서 스트리밍해 휴대전화에서 실행하는 C++20 추론 엔진이다.
조건에 맞는 소식이 없습니다.