Devotd Github
新发现推理与服务

elevatormusic/deepseek-v4.1-flash-1017-exl3-tensorfold-2x-dgx-spark — DGX Spark 推理配置

介绍在两台 DGX Spark 上运行 DeepSeek V4.1 Flash 的配置配方,以及相对 vLLM kit 的解码速度测量记录。

仓库信息elevatormusic/deepseek-v4.1-flash-1017-exl3-tensorfold-2x-dgx-spark ↗

介绍在两台 DGX Spark 上运行 DeepSeek V4.1 Flash 的配置配方,以及相对 vLLM kit 的解码速度测量记录。

GitHub 项目说明: DeepSeek-V4.1-Flash-1017 EXL3 2.9bpw on 2x NVIDIA DGX Spark (GB10) with TensorFold: 2.1-2.3x the vLLM kit's decode speed.

星标
★ 63
复刻
5
语言
Python
许可证
Apache-2.0
最新版本
v1.0.0
查看原始来源 ↗在 GitHub 查看 ↗

elevatormusic/deepseek-v4.1-flash-1017-exl3-tensorfold-2x-dgx-spark 是一份在两台 NVIDIA DGX Spark(GB10) 上运行 DeepSeek V4.1 Flash 的配置配方。最新版本是 v1.0.0。它使用 TensorFold 运行 EXL3 2.9bpw 模型,README 称其解码速度比 vLLM 配置快 2.1~2.3 倍。预填充是读入输入上下文的阶段。README 还介绍了工具调用与结构化输出、最多 4 个并发请求、1M token 上下文支持,以及如何接入兼容 OpenAI API 的应用。

README 的测量表给出,叙述类任务为 27 token/秒 对 57 token/秒,代码类任务为 40 对 92 token/秒。3 万 2 千 token 提示的预填充为 925 对 2165 token/秒。文中称最大上下文从 26 万 2 千 144 增加到 104 万 8576 token。作为这些数值的依据,仓库公开了 runs/ 目录下按日期归档的结果文件与运行日志,共 150 个文件。其中还记录了输出差异性测试、适用性测试、语法检查和基准测试。代码为 Python,许可证为 Apache-2.0。

比较对象不是标准 vLLM,而是 vLLM kit,测量结果依据 README 和仓库中的运行记录。由于 TensorFold 是作者自己的引擎分叉,仅凭这些资料无法确认独立验证。因此这些性能数值更适合看作在两台 DGX Spark 上取得的优化案例,并附有可供复核的测量依据,而不是已经独立确认的结果。