github.devotd.
新着推論・サービング

qualcomm/geniex — Snapdragon向けオンデバイス AI 推論ランタイム

qualcomm/geniex の GenieX は、Snapdragon デバイス上で LLM と VLM をローカル実行する生成 AI 推論ランタイムである。

リポジトリ情報qualcomm/geniex ↗

qualcomm/geniex の GenieX は、Snapdragon デバイス上で LLM と VLM をローカル実行する生成 AI 推論ランタイムである。

GitHub の説明: Run frontier LLMs and VLMs locally on Qualcomm devices across NPU, GPU, and CPU with a few lines of code

スター
★ 8.4K
フォーク
1.1K
言語
Go
ライセンス
BSD-3-Clause
最新リリース
v0.9.3
原文を見る ↗GitHub で見る ↗

qualcomm/geniex の GenieX は、Snapdragon デバイス上で大規模言語モデル(LLM)とビジョン・言語モデル(VLM)をローカル実行する生成 AI 推論ランタイムである。Hexagon NPU、Adreno GPU、CPU を実行パスとしてサポートする。リポジトリに表示される最新リリースは v0.9.3 だが、提供された情報にはこのバージョンの変更点が記載されていない。

モデルは GGUF 形式で Hugging Face、ModelScope、Docker Hub から、または Qualcomm AI Hub のプリコンパイル済みバンドルから取得できる。単一の C SDK を CLI、Python、Kotlin/Java、Docker、OpenAI 互換サーバーで利用でき、Windows ARM64、Android、Linux ARM64 をサポートする。Go で書かれ、BSD-3-Clause ライセンスの Qualcomm GENIE コミュニティ版である。CLI や Python でモデルをローカル実行するか、API サーバーを起動するための Qualcomm デバイス向けツールに近い位置づけである。

提供された情報には、ハードウェアごとの推論速度や精度の比較はない。そのためサポートされる実行パスとプラットフォームは確認できるものの、特定のデバイスでの性能やモデルごとの適合性を判断するには根拠が不足している。