Devotd Github
新发现推理与服务

wici-ai/inferssd — 基于 SSD 流式加载的 MoE 推理引擎

介绍基于 llama.cpp 的 InferSSD 的 SSD 流式方式,以及 README 中列出的模型与接入支持范围。

仓库信息wici-ai/inferssd ↗

介绍基于 llama.cpp 的 InferSSD 的 SSD 流式方式,以及 README 中列出的模型与接入支持范围。

GitHub 项目说明: Run models larger than your RAM or VRAM by streaming MoE experts from SSD. Built on llama.cpp.

星标
★ 160
复刻
27
语言
C++
许可证
Apache-2.0
最新版本
v0.1.1
查看原始来源 ↗在 GitHub 查看 ↗

InferSSD(wici-ai/inferssd)是一个以 llama.cpp 为基础的 C++ 引擎,它从 SSD 流式加载 MoE expert,从而运行比 RAM 或 VRAM 更大的模型。最新版本是 v0.1.1。所提供的信息中没有说明该版本改动了什么的变更清单,因此不能说它新增了某项特定功能。这个仓库的核心,是在难以把整个模型装进 RAM 或 VRAM 的情况下,把 SSD 用作推理路径的一种方式。项目说明把它定位为运行大模型的一种方案。

README 的目标是 GGUF 格式的大型混合专家模型,目前列出的支持对象是 DeepSeek-V4.1-Flash-1017 和 Muse-Spark-Open。它还说明提供了用于与模型对话的浏览器界面,以及 OpenAI 兼容 API。因此使用方式可以归纳为两条路径:在浏览器中直接对话,或通过兼容 API 连接。安装步骤针对 macOS 和使用 NVIDIA GPU 的 Linux。许可证为 Apache-2.0,仓库的主要语言是 C++。在这一范围内可以确认的是特定的模型格式、两种接入方式,以及两个运行环境的安装说明。

不过,所提供的记录中没有性能对比数据。因此,SSD 流式加载究竟把内存上限拓展了多少、在受支持的模型上能跑出怎样的速度,仅凭这些信息无法判断。记录的动量评分为 5.0,而技术性、质量和原创性评分并未给出。所以与其对 v0.1.1 的性能或改进幅度下断言,不如说还处在以受支持的模型和安装环境为基准考察适用性的阶段。