InferSSD(wici-ai/inferssd)是一个以 llama.cpp 为基础的 C++ 引擎,它从 SSD 流式加载 MoE expert,从而运行比 RAM 或 VRAM 更大的模型。最新版本是 v0.1.1。所提供的信息中没有说明该版本改动了什么的变更清单,因此不能说它新增了某项特定功能。这个仓库的核心,是在难以把整个模型装进 RAM 或 VRAM 的情况下,把 SSD 用作推理路径的一种方式。项目说明把它定位为运行大模型的一种方案。
README 的目标是 GGUF 格式的大型混合专家模型,目前列出的支持对象是 DeepSeek-V4.1-Flash-1017 和 Muse-Spark-Open。它还说明提供了用于与模型对话的浏览器界面,以及 OpenAI 兼容 API。因此使用方式可以归纳为两条路径:在浏览器中直接对话,或通过兼容 API 连接。安装步骤针对 macOS 和使用 NVIDIA GPU 的 Linux。许可证为 Apache-2.0,仓库的主要语言是 C++。在这一范围内可以确认的是特定的模型格式、两种接入方式,以及两个运行环境的安装说明。
不过,所提供的记录中没有性能对比数据。因此,SSD 流式加载究竟把内存上限拓展了多少、在受支持的模型上能跑出怎样的速度,仅凭这些信息无法判断。记录的动量评分为 5.0,而技术性、质量和原创性评分并未给出。所以与其对 v0.1.1 的性能或改进幅度下断言,不如说还处在以受支持的模型和安装环境为基准考察适用性的阶段。