github.devotd.
新发现多模态

b0yko/tern — 面向 Apple Silicon 的本地媒体搜索

b0yko/tern 是一款面向 Apple Silicon 的本地工具,可按语音、画面文字和场景检索播客与视频库,并编辑、导出检索结果。

仓库信息b0yko/tern ↗

Local AI search for podcast and video archives on Apple Silicon: Whisper speech, Apple Vision OCR and SigLIP-2 visual search fused into one ranked list, with a trim editor and FCPXML export. FastAPI, vanilla JS, Tauri. Source-visible, all rights reserved.

星标
★ 219
复刻
1
语言
Python
许可证
NOASSERTION
查看原始来源 ↗在 GitHub 查看 ↗

b0yko/tern 是一款面向 Apple Silicon 的本地工具,用于在本地检索播客和视频库。它将 Whisper 语音识别、Apple Vision OCR 与 SigLIP-2 视觉搜索合并为一个排序列表。该仓库使用 FastAPI、原生 JS 和 Tauri,并以 Python 编写。FACTS 中没有记录公开发布。

该工具把语音中的话语、画面文字和场景图像分别变成可检索的信息。据 README 说明,它用 Whisper 和 Silero VAD 处理语音,用 Apple Vision 辅助程序读取画面文字,用 SigLIP-2 嵌入查找场景。由此得到的检索结果汇入同一个列表。经过用于修剪片段的编辑器后,可导出为视频、音频、字幕、表格格式,并支持 FCPXML 导出。README 标注了包含流水线、API 以及许可证检查在内的 539 个测试。

不过,测试数量并不代表检索准确率或处理速度,FACTS 也没有给出可供比较的性能数值。该工具面向 Apple Silicon,能否在其他环境中使用同样功能无法从现有信息确认。许可证标注为 NOASSERTION,仓库说明中声明保留所有权利,因此再利用条件也不明确。因此,它更接近一款需要确认适用范围和使用条件的本地搜索工具。