andrei-borcea/liyab는 RAM보다 큰 GGUF 모델을 플래시에서 스트리밍해 휴대전화에서 실행하는 C++20 추론 엔진이다. README는 Android와 iOS뿐 아니라 macOS와 Linux도 지원 대상으로 제시하며, Apache-2.0 라이선스로 공개됐다. 이 저장소는 특정 버전의 출시가 아니라 휴대전화의 메모리와 발열 제약을 다루는 프로젝트 소개에 해당한다.
README에 따르면 Snapdragon 8 Elite에서 22 GB Qwen3.6-35B-A3B를 실행할 때 명령줄은 초당 약 9~10.5토큰, 앱은 7.5~9.4토큰을 냈다. CPU는 NEON, SDOT, i8mm을 쓰고 GPU에는 Metal과 Vulkan 백엔드를 둔다. OS의 여유 열 예측값을 읽어 기기 발열에 맞춰 클럭과 토큰 생성 속도를 조절하는 방식이다. README는 GGML 텐서 포맷과 아키텍처를 llama.cpp 참조 디코더와 비트 단위로 맞췄다고 설명한다. 라우터가 다음 블록에서 쓸 전문가를 미리 불러오는 기능과, 키의 양자화 오차를 줄이는 채널별 스케일링도 제시한다.
README에는 라우터의 prefetch 적중률이 79~83%이며, 채널별 키 스케일링으로 Q8_0 키의 평균 KL이 0.070에서 0.0018로 낮아졌다고 적혀 있다. 빌드는 CMake와 ctest를 사용하고, 투기 디코딩에는 접미사 초안 방식과 기기에서 초안 수를 조절하는 방식이 포함된다. 다만 성능과 정확도 수치는 작성자 측정으로 제시된 값이며, 독립적으로 확인된 결과는 FACTS에 없다. 따라서 현재 확인할 수 있는 근거는 README에 한정되며, 실제 기기에서의 성능은 별도로 검증해야 한다.