Devotd Github
新发现推理与服务

zephel01/abyss v1.3.54 — 面向单张显卡的混合专家推理引擎

zephel01/abyss 是一个推理引擎,目标是在单张消费级显卡上运行 DeepSeek V4 Flash 与 V4.1 Flash 系列模型。

仓库信息zephel01/abyss ↗

zephel01/abyss 是一个推理引擎,目标是在单张消费级显卡上运行 DeepSeek V4 Flash 与 V4.1 Flash 系列模型。

星标
★ 18
复刻
2
语言
C++
许可证
MIT
最新版本
v1.3.54
查看原始来源 ↗在 GitHub 查看 ↗

zephel01/abyss 是一个推理引擎,目标是在一张消费级显卡上运行 DeepSeek V4 Flash 与 V4.1 Flash 系列的混合专家模型。记录到的最新发布标签是 v1.3.54。不过,提供的信息中没有说明该版本改动了什么。README 说明该项目是从 Project Maya 分叉出来的。

混合专家模型(MoE)是一种在多个专家中只挑选并使用所需部分的方式。Abyss 说明的是一种分层执行方式:把常用专家放在显卡内存中,其余部分则从固定内存和 NVMe 存储中加载。它以 Linux 为目标平台,支持 CUDA,ROCm 支持仍处于实验阶段。它还提供浏览器对话界面以及兼容 OpenAI 和 Anthropic 的 API。项目用 C++ 编写,采用 MIT 许可证,星标数为 18。README 中有多种显卡与模型配置的测量表、原理说明和手册文档。

测量表把硬件与模型配置一并列出,因此看数字时也要核对对应条件。尤其是 ROCm 支持被标注为实验阶段。所以这个仓库展示的是面向单显卡运行的分层结构与支持路径,测量数值只应在各自条件下解读。