github.devotd.
新发现推理与服务

qualcomm/geniex — 面向 Snapdragon 的端侧 AI 推理运行时

qualcomm/geniex 中的 GenieX 是一个生成式 AI 推理运行时,可在 Snapdragon 设备上本地运行 LLM 和 VLM。

仓库信息qualcomm/geniex ↗

qualcomm/geniex 中的 GenieX 是一个生成式 AI 推理运行时,可在 Snapdragon 设备上本地运行 LLM 和 VLM。

GitHub 项目说明: Run frontier LLMs and VLMs locally on Qualcomm devices across NPU, GPU, and CPU with a few lines of code

星标
★ 8.4K
复刻
1.1K
语言
Go
许可证
BSD-3-Clause
最新版本
v0.9.3
查看原始来源 ↗在 GitHub 查看 ↗

qualcomm/geniex 中的 GenieX 是一个生成式 AI 推理运行时,可在 Snapdragon 设备上本地运行大语言模型(LLM)和视觉-语言模型(VLM)。它支持 Hexagon NPU、Adreno GPU 和 CPU 执行路径。仓库中标注的最新版本为 v0.9.3,但所提供的信息未列出该版本的变更内容。

模型可以从 Hugging Face、ModelScope、Docker Hub 获取 GGUF 格式,也可以从 Qualcomm AI Hub 获取预编译捆绑包。同一套 C SDK 可用于 CLI、Python、Kotlin/Java、Docker 以及兼容 OpenAI 的服务器,并支持 Windows ARM64、Android 和 Linux ARM64。它使用 Go 编写,采用 BSD-3-Clause 许可证,是 Qualcomm GENIE 社区版。它比较接近一种面向 Qualcomm 设备的工具,可通过 CLI 或 Python 在本地运行模型,或启动 API 服务器。

所提供的信息中没有按硬件划分的推理速度或准确率对比。因此支持路径和平台可以确认,但缺乏足够依据来判断特定设备上的性能或各模型的适用性。