Devotd Github
新着推論・サービング

richardslatter/r820-llm-public — 旧型 R820 向け DeepSeek 実行パッチ

2012年製 Dell PowerEdge R820 で DeepSeek V4.1 Flash を実行するための ik_llama.cpp パッチとツールをまとめたリポジトリ。

リポジトリ情報richardslatter/r820-llm-public ↗

2012年製 Dell PowerEdge R820 で DeepSeek V4.1 Flash を実行するための ik_llama.cpp パッチとツールをまとめたリポジトリ。

GitHub の説明: DeepSeek V4.1 Flash on a 2012 Dell PowerEdge R820: ik_llama.cpp patch and tools

スター
★ 1
フォーク
0
言語
C
原文を見る ↗GitHub で見る ↗

richardslatter/r820-llm-public は、2012年製 Dell PowerEdge R820 で DeepSeek V4.1 Flash を実行するために ik_llama.cpp を改変した事例とツールを収めたリポジトリである。主題は、新しい部品を足すことなく旧式サーバー上で 5520億パラメータの混合エキスパート(MoE)モデルを実行することだ。リポジトリにはパッチと、ビルド・モデル変換・サーバー実行のスクリプトが含まれている。正式なリリース版は示されていない。

主な変更は 2 点である。ひとつは、2011年世代のサーバー向けチップでも強い拡張命令セットなしで動作するベクター命令パッチで、もうひとつは各コアが自分のメモリを読むようにした NUMA 配置である。GPU は密集中の計算の半分とプレフィルの大半を担う。README に記録された速度は、デコードで毎秒 9.95 トークン、プレフィルで毎秒 101 トークンである。README はさらに、モデルが生成した下書きを活用する機能をコードに適用することで記録値が毎秒 12〜13 トークンに達したと説明している。

README は AVX1 最適化とメモリ・GPU の作業分担についての段階別の性能表を提供し、効果がなかった最適化.converter も公開している。したがってこのリポジトリは、旧式サーバーでモデルを実行するための改変と試行錯誤を振りかえる技術記録として読むのが適切である。ライセンス情報は示されておらず、再利用の条件はリポジトリだけでは確認できない。