Devotd Github
新发现推理与服务

richardslatter/r820-llm-public — 面向旧款 R820 的 DeepSeek 运行补丁

一个仓库,整理了为在 2012 年的 Dell PowerEdge R820 上运行 DeepSeek V4.1 Flash 而对 ik_llama.cpp 所做修改的补丁与配套工具。

仓库信息richardslatter/r820-llm-public ↗

一个仓库,整理了为在 2012 年的 Dell PowerEdge R820 上运行 DeepSeek V4.1 Flash 而对 ik_llama.cpp 所做修改的补丁与配套工具。

GitHub 项目说明: DeepSeek V4.1 Flash on a 2012 Dell PowerEdge R820: ik_llama.cpp patch and tools

星标
★ 1
复刻
0
语言
C
查看原始来源 ↗在 GitHub 查看 ↗

richardslatter/r820-llm-public 是一个仓库,收录了在 2012 年的 Dell PowerEdge R820 上运行 DeepSeek V4.1 Flash 的 ik_llama.cpp 修改案例与相关工具。其主题是在不增加任何新部件的情况下,于老旧服务器上运行一个 5520 亿参数的混合专家(MoE)模型。仓库中包含补丁,以及构建、模型转换、服务器运行的脚本。没有给出正式发布版本。

主要改动有两项:一是向量指令补丁,使其在没有强扩展指令集的 2011 年一代服务器芯片上也能工作;二是 NUMA 布局,让每个核心读取自己的内存。GPU 承担一半的密集计算和大部分的前置处理(prefill)。README 中记录的速度为解码每秒 9.95 个 token、前置处理每秒 101 个 token。README 还说明,把利用模型生成草稿的功能应用到代码中之后,记录的速度达到每秒 12~13 个 token。

README 提供了 AVX1 优化以及内存与 GPU 分工的分阶段性能表,也公开了没有产生效果的优化尝试。因此,这个仓库更适合作为考察如何在旧服务器上运行模型所做修改与试错过程的技术记录来阅读。没有给出许可证信息,仅凭该仓库无法确认再利用条件。