github.devotd.
新发现推理与服务

andrei-borcea/liyab — 面向手机的 GGUF 推理引擎

andrei-borcea/liyab 是一个 C++20 推理引擎,把大于内存的 GGUF 模型从闪存流式读取,从而在手机上运行。

仓库信息andrei-borcea/liyab ↗

🔥 Run large open language models on your phone. A C++20 GGUF inference engine that streams models larger than RAM from flash, paces itself by the device's thermal forecast, and powers a private on-device assistant. Android · iOS · macOS · Linux.

星标
★ 7
复刻
0
语言
C++
许可证
Apache-2.0
查看原始来源 ↗在 GitHub 查看 ↗

andrei-borcea/liyab 是一个 C++20 推理引擎,把大于内存的 GGUF 模型从闪存流式读取,从而在手机上运行。其 README 不仅把 Android 和 iOS,还把 macOS 和 Linux 列为支持目标,项目以 Apache-2.0 许可证公开。这个仓库属于项目介绍,探讨的是手机的内存与发热约束,而不是某个特定版本的发布。

据 README 介绍,在 Snapdragon 8 Elite 上运行 22 GB 的 Qwen3.6-35B-A3B 时,命令行速度约为每秒 9~10.5 个 token,应用为每秒 7.5~9.4 个 token。CPU 使用 NEON、SDOT 和 i8mm,GPU 侧则提供 Metal 与 Vulkan 后端。它读取操作系统的余量温度预测值,根据设备发热情况调整时钟与 token 生成速度。README 说明其 GGML 张量格式和架构与 llama.cpp 参考解码器逐位一致。它还提供路由器预取下一个块所需专家的功能,以及按通道的键缩放,以降低键的量化误差。

README 写道,路由器的预取命中率为 79~83%,按通道的键缩放把 Q8_0 键的平均 KL 从 0.070 降到了 0.0018。构建使用 CMake 和 ctest,推测解码包含后缀草稿方案,以及在设备上调整草稿数量的方式。不过这些性能与准确度数据均为作者自行测量,FACTS 中没有独立验证的结果。因此目前可查证的依据仅限于 README,实际设备上的性能仍需另行验证。