Devotd Github
新发现推理与服务

vecszn/polystrata v0.1.45-poly.6 — 基于双引擎的 PC 模型运行器

vecszn/polystrata v0.1.45-poly.6 是一款本地推理工具,可通过两个引擎在 PC 上运行 9 个 AI 模型。

仓库信息vecszn/polystrata ↗

vecszn/polystrata v0.1.45-poly.6 是一款本地推理工具,可通过两个引擎在 PC 上运行 9 个 AI 模型。

GitHub 项目说明: Run large AI models on your own PC: Qwen3.8-Flash-Next on Strata's engine, and GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder and MiniCPM-V on a second engine written for PolyStrata. One-click install for Windows and Linux, OpenAI/Anthropic API on localhost.

星标
★ 623
复刻
95
语言
C++
许可证
MIT
最新版本
v0.1.45-poly.6
查看原始来源 ↗在 GitHub 查看 ↗

vecszn/polystrata 是一款在普通 PC 上驱动大型 AI 模型的本地推理运行器。Qwen3.8-Flash-Next 使用 Strata 引擎运行,而 GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Qwen3.6、Ornith 1.5、Gemma 4、Tiel Coder、MiniCPM-V 则由为 PolyStrata 专门编写的第二个引擎支持。GitHub 上显示的最新版本是 v0.1.45-poly.6。所提供的信息中没有列出本次发布的变更内容,因此无法确认具体改动。

根据 README,它通过两个引擎支持 9 个模型,并且可以在服务器运行期间切换已安装的模型。它提供 Windows 和 Linux 的一键安装程序,并可在本地开放 OpenAI 与 Anthropic 兼容 API,便于连接应用和编程代理。因此该项目的用途不仅是运行模型,还包括提供可对接现有工具的部署方式。仓库使用 C++ 编写,并以 MIT 许可证开源。

不过,Qwen3.8-Flash-Next 这一路径依赖 Strata 引擎,其新意主要在于把多个模型以及安装、连接方式整合到一起。第二个引擎仍处于实验阶段:README 表示它只在单张 32GB 显卡和单台 8GB 笔记本上测试过。所给出的吞吐速度数值也是截图上的标注,代码中没有保留复现步骤。因此,与其把这些性能数字直接套用到一般 PC 环境,不如结合支持范围与验证程度一并判断。