Devotd Github
新发现推理与服务

recursive-oss/rec v0.1.0 — Apple Silicon 本地推理引擎

介绍 recursive-oss/rec v0.1.0 及其本地推理能力、README 给出的吞吐量对比,以及验证方面的局限。

仓库信息recursive-oss/rec ↗

介绍 recursive-oss/rec v0.1.0 及其本地推理能力、README 给出的吞吐量对比,以及验证方面的局限。

GitHub 项目说明: Our lightning-fast inference engine.

星标
★ 91
复刻
10
语言
Python
许可证
Apache-2.0
最新版本
v0.1.0
查看原始来源 ↗在 GitHub 查看 ↗

recursive-oss/rec 是一款在本地运行 Recursive 语言模型的推理引擎。该仓库的最新版本是 v0.1.0。现有事实并未具体说明这一版本新增或变更了哪些内容。README 将 rec 描述为面向单会话使用的引擎。因此可以确认的是仓库所说明的引擎与使用方式,而不是某个具体版本的变化。

该引擎专注于在 Apple Silicon 上本地运行模型,并连接相关工具。据 README,它提供 pi 和 OpenCode 的运行配置,同时为自身客户端暴露一个 OpenAI 兼容的聊天补全 API。这个兼容 API 是接收 OpenAI 格式请求的接入点。仓库还文档化了安装、运行、状态检查、更新命令以及贡献指南。README 说明,它在 M4 Pro 上使用 4 位权重和多个上下文长度与 llama.cpp 做了对比。除预填充外的生成吞吐量据称是 llama.cpp 的 1.4~2.6 倍。这是仓库给出的对比数据。

不过,这一吞吐量优势依据的是 README 自身的测量说明,而现有事实中没有独立验证的结果。测量条件也仅限于 M4 Pro、4 位权重和多个上下文长度。引擎在文档中的使用范围同样只是单会话。因此仅凭这些数字无法判断其在其他环境或并发会话下的表现。rec 为在本地处理 Recursive 模型提供了运行工具和集成路径,但“比 llama.cpp 更快”的说法,在获得独立验证之前,更适合视为仓库自身的测量结果。