zephel01/abyss 是一个推理引擎,目标是在一张消费级显卡上运行 DeepSeek V4 Flash 与 V4.1 Flash 系列的混合专家模型。记录到的最新发布标签是 v1.3.54。不过,提供的信息中没有说明该版本改动了什么。README 说明该项目是从 Project Maya 分叉出来的。
混合专家模型(MoE)是一种在多个专家中只挑选并使用所需部分的方式。Abyss 说明的是一种分层执行方式:把常用专家放在显卡内存中,其余部分则从固定内存和 NVMe 存储中加载。它以 Linux 为目标平台,支持 CUDA,ROCm 支持仍处于实验阶段。它还提供浏览器对话界面以及兼容 OpenAI 和 Anthropic 的 API。项目用 C++ 编写,采用 MIT 许可证,星标数为 18。README 中有多种显卡与模型配置的测量表、原理说明和手册文档。
测量表把硬件与模型配置一并列出,因此看数字时也要核对对应条件。尤其是 ROCm 支持被标注为实验阶段。所以这个仓库展示的是面向单显卡运行的分层结构与支持路径,测量数值只应在各自条件下解读。