Devotd Github
新发现推理与服务

maralski/gemma-embed-swift v0.4.1 — 面向 Apple Silicon 的嵌入包

maralski/gemma-embed-swift 是一个 Swift 包,用自研的 Metal 内核在 Apple Silicon 上计算 EmbeddingGemma 2 嵌入。

仓库信息maralski/gemma-embed-swift ↗

maralski/gemma-embed-swift 是一个 Swift 包,用自研的 Metal 内核在 Apple Silicon 上计算 EmbeddingGemma 2 嵌入。

GitHub 项目说明: EmbeddingGemma 2 text, image and audio embeddings in-process optimised for Apple Silicon: a dependency-free Swift package with its own Metal kernels

星标
★ 4
复刻
0
语言
Swift
许可证
Apache-2.0
最新版本
v0.4.1
查看原始来源 ↗在 GitHub 查看 ↗

maralski/gemma-embed-swift 的最新版本是 v0.4.1。这个 Swift 包在 Apple Silicon 上运行 EmbeddingGemma 2 的文本、图像和音频编码器。它使用自研的 Metal 内核,嵌入计算在应用进程内完成。所提供的资料中没有 v0.4.1 的改动内容,因此具体变化无法确认。

该包被设计为不依赖外部机器学习框架或 llama.cpp 即可运行模型。除 Apple SDK 之外没有其他依赖,模型权重需要单独下载。据 README 说明,它可以用官方 GGUF 权重生成 768 维嵌入,开启可选功能后,图像和音频也会嵌入到同一个向量空间。它还支持文本、图像、音频混合输入,并说明支持缩小输出维度的功能以及最多 8192 个 token 的输入。许可证为 Apache-2.0。

README 中有与 llama.cpp 的余弦相似度对比表,但所提供的资料里没有该表的数值,因此无法判断比较结果的差距。可以确认的优势在于实现范围:在 Apple Silicon 上不依赖外部依赖对多种输入类型做嵌入,性能上的优势并未得到证明。