Devotd Github
新发现推理与服务

yuhuanstudio/yunshu — 在 CI 控制台 venv 中固定 8 种 import 包

Yunshu 的最新提交为仅 CPU 的 CI 控制台测试环境添加了 OpenAPI dump 所需的 8 种包,并固定了版本。

仓库信息yuhuanstudio/yunshu ↗

Yunshu 的最新提交为仅 CPU 的 CI 控制台测试环境添加了 OpenAPI dump 所需的 8 种包,并固定了版本。

GitHub 项目说明: Fast local LLM / VLM inference engine for Apple Silicon (MLX). OpenAI- and Anthropic-compatible, lossless speculative decoding (DFlash2 / MTP), hybrid-model prefix cache with RAM/SSD tiers, native Claude Code / Codex / opencode support. Qwen3.8-27B tuned first.

星标
★ 3
复刻
0
语言
Python
许可证
Apache-2.0
最新版本
v0.1.5
查看原始来源 ↗在 GitHub 查看 ↗

Yunshu 是一个基于 Apple Silicon 的 MLX 运行的本地 LLM/VLM 推理引擎,公开 OpenAI 与 Anthropic 兼容的 API。2026 年 11 月 1 日的提交(3aa49cd)只改动 CI 配置,不涉及运行时代码。在 `.github/workflows/ci.yml` 中,仅 CPU 的控制台测试依赖安装步骤被改动一行,使 OpenAPI dump 引入的包全部以固定版本安装,一个不漏。

由于 Linux CI 中没有 MLX,该步骤用仅 CPU 的 Python 构建控制台并导出 OpenAPI schema。在原有的 fastapi 0.143.0、httpx 0.28.1、uvicorn 0.54.0、websockets 17.2、numpy 2.5.4 之外,新增了 python-multipart 0.0.32、xxhash 4.0.1、jsonschema 4.26.0、openai 3.31.0、psutil 7.2.2、regex 2026.9.29、lxml 6.1.3、prometheus-client 0.26.0。提交信息说明已在新的虚拟环境中实际安装该列表进行验证。该 Python 同时也被注册为文档生成用变量(DOCS_PYTHON),因此这是一个在 CI 阶段先行暴露 OpenAPI dump 导入缺失的改动。

不过,本次提交只是依赖列表的一行编辑,并未触及推理路径。仓库说明中提到的基于 DFlash2/MTP 的无损推测解码(speculative decoding),以及 RAM·SSD 两级前缀缓存(hybrid-model prefix cache)的性能,无法通过此次改动加以确认,也没有给出基准测试数值。CI 的控制台构建在仅 CPU 的 Python 下运行,MLX 路径依然保留。许可证和热度数值在资料中也没有。提交信息中还附带 'Co-Authored-By: Claude Opus 5.5' 的标注。本次改动更接近于让 schema 生成稳定运行范围内的环境整理,尚不足以视为与推理性能直接相关的改进。