嵌入式设备推理
用于微控制器、手机、游戏机和其他受限设备的紧凑推理运行时；不包括完整服务器集群和没有本地模型执行功能的通用嵌入式代理框架。
| 项目 | 用途 | Star | 语言 | 许可证 | 最新版本 |
|---|---|---|---|---|---|
| andrei-borcea/liyab | 通过从闪存流式加载超出内存的 GGUF 模型，并适应热状态，在手机上运行语言模型。 | ★ 7 | C++ | Apache-2.0 | — |
用于微控制器、手机、游戏机和其他受限设备的紧凑推理运行时；不包括完整服务器集群和没有本地模型执行功能的通用嵌入式代理框架。
| 项目 | 用途 | Star | 语言 | 许可证 | 最新版本 |
|---|---|---|---|---|---|
| andrei-borcea/liyab | 通过从闪存流式加载超出内存的 GGUF 模型，并适应热状态，在手机上运行语言模型。 | ★ 7 | C++ | Apache-2.0 | — |