Devotd Github
새 소식추론/서빙

richardslatter/r820-llm-public — 구형 R820용 DeepSeek 실행 패치

2012년식 Dell PowerEdge R820에서 DeepSeek V4.1 Flash를 실행하기 위한 ik_llama.cpp 패치와 도구를 정리한 저장소다.

저장소 정보richardslatter/r820-llm-public ↗

2012년식 Dell PowerEdge R820에서 DeepSeek V4.1 Flash를 실행하기 위한 ik_llama.cpp 패치와 도구를 정리한 저장소다.

GitHub 설명: DeepSeek V4.1 Flash on a 2012 Dell PowerEdge R820: ik_llama.cpp patch and tools

스타
★ 1
포크
0
언어
C
원문 보기 ↗GitHub에서 보기 ↗

richardslatter/r820-llm-public는 2012년식 Dell PowerEdge R820에서 DeepSeek V4.1 Flash를 실행하기 위해 ik_llama.cpp를 수정한 사례와 도구를 담은 저장소다. 5520억 매개변수의 혼합 전문가(MoE) 모델을 새 부품 없이 구형 서버에서 실행하는 것이 주제다. 저장소에는 패치와 빌드·모델 변환·서버 실행 스크립트가 포함되어 있다. 정식 릴리스 버전은 주어지지 않았다.

주요 변경은 2011년 세대 서버용 칩에서 강한 확장 명령 집합 없이 작동하도록 한 벡터 명령 패치와, 각 코어가 자기 메모리를 읽도록 한 NUMA 배치다. GPU는 밀집 계산의 절반과 앞부분 처리(prefill)의 대부분을 맡는다. README에 기록된 속도는 해독 초당 9.95토큰, 앞부분 처리 초당 101토큰이다. 모델이 생성한 초안을 활용하는 기능을 코드에 적용하면 초당 12~13토큰까지 기록했다고 설명한다.

README는 AVX1 최적화와 메모리·GPU 작업 분담의 단계별 성능 표를 제공하고, 효과가 없었던 최적화 시도도 공개한다. 따라서 이 저장소는 구형 서버에서 모델을 실행하기 위한 수정과 시행착오를 살펴보는 기술 기록으로 읽는 편이 적절하다. 라이선스 정보는 주어지지 않아 재사용 조건은 저장소만으로 확인할 수 없다.