Devotd Github
发布Apple Silicon 推理

jundot/omlx v0.7.3 — DeepSeek V4.1、语音对话与网页搜索改进

jundot/omlx v0.7.3 版本介绍了 DeepSeek V4.1 处理、语音对话与网页搜索功能,以及多请求场景下的内存使用改进。

仓库信息jundot/omlx ↗

OMLX 是一款 Apple Silicon 本地 LLM 推理服务器,支持连续批处理、SSD/KV 缓存和菜单栏管理。

GitHub 项目说明: LLM inference server with continuous batching & SSD caching for Apple Silicon — managed from the macOS menu bar

星标
★ 23.2K
复刻
2.1K
语言
Python
许可证
Apache-2.0
最新版本
v0.7.3
查看原始来源 ↗在 GitHub 查看 ↗

jundot/omlx v0.7.3 是 2026 年 10 月 31 日发布的版本。该版本信息涵盖 DeepSeek V4.1 处理改进、语音对话与网页搜索功能,以及多请求场景下的内存使用改进。这些改动的来源是 jundot/omlx 的 v0.7.3 版本发布。因此,本次更新的核心覆盖特定模型处理、对话功能,以及处理多个请求时的内存使用。

jundot/omlx 是面向 Apple Silicon 的 LLM 推理服务器仓库。仓库说明称其支持连续批处理与 SSD 缓存,并可通过 macOS 菜单栏进行管理。本次版本说明将该服务器的改进项列为 DeepSeek V4.1 处理、语音对话、网页搜索,以及多请求的内存使用。不过,各项的具体实现方式并未出现在所给的版本摘要中。因此可以确认的范围仅限于哪些部分被列为改进对象。

版本摘要没有给出性能数据、对比基准或验证条件。因此 DeepSeek V4.1 处理究竟发生了多大变化、内存使用改进的幅度有多大,仅凭这些材料无法判断。语音对话和网页搜索也只作为功能被提及,版本摘要并未说明使用方法或提供范围。v0.7.3 是一个可以确认改进项的更新,但实际效果与具体行为难以仅凭版本摘要确定。

同领域的其他项目

Apple Silicon 推理 →