elevatormusic/deepseek-v4.1-flash-1017-exl3-tensorfold-2x-dgx-spark 是一份在两台 NVIDIA DGX Spark(GB10) 上运行 DeepSeek V4.1 Flash 的配置配方。最新版本是 v1.0.0。它使用 TensorFold 运行 EXL3 2.9bpw 模型,README 称其解码速度比 vLLM 配置快 2.1~2.3 倍。预填充是读入输入上下文的阶段。README 还介绍了工具调用与结构化输出、最多 4 个并发请求、1M token 上下文支持,以及如何接入兼容 OpenAI API 的应用。
README 的测量表给出,叙述类任务为 27 token/秒 对 57 token/秒,代码类任务为 40 对 92 token/秒。3 万 2 千 token 提示的预填充为 925 对 2165 token/秒。文中称最大上下文从 26 万 2 千 144 增加到 104 万 8576 token。作为这些数值的依据,仓库公开了 runs/ 目录下按日期归档的结果文件与运行日志,共 150 个文件。其中还记录了输出差异性测试、适用性测试、语法检查和基准测试。代码为 Python,许可证为 Apache-2.0。
比较对象不是标准 vLLM,而是 vLLM kit,测量结果依据 README 和仓库中的运行记录。由于 TensorFold 是作者自己的引擎分叉,仅凭这些资料无法确认独立验证。因此这些性能数值更适合看作在两台 DGX Spark 上取得的优化案例,并附有可供复核的测量依据,而不是已经独立确认的结果。