Devotd Github
새 소식추론/서빙

masherdon/siege-ladder — DeepSeek-V4.1-Flash 실행 연구

masherdon/siege-ladder는 단일 PC에서 DeepSeek-V4.1-Flash-1017을 실행하기 위한 llama.cpp 패치와 연구 기록을 담은 저장소다.

저장소 정보masherdon/siege-ladder ↗

masherdon/siege-ladder는 단일 PC에서 DeepSeek-V4.1-Flash-1017을 실행하기 위한 llama.cpp 패치와 연구 기록을 담은 저장소다.

GitHub 설명: DeepSeek-V4.1-Flash (1017) on one 16 GB GPU + 64 GB RAM, experts streamed from NVMe: llama.cpp patches, a weight assembler, benchmarks and notes. Work in progress.

스타
★ 3
포크
0
언어
Python
라이선스
MIT-0
원문 보기 ↗GitHub에서 보기 ↗

masherdon/siege-ladder는 DeepSeek-V4.1-Flash-1017을 그래픽 카드 메모리 16기가바이트와 시스템 메모리 64기가바이트를 갖춘 한 대의 PC에서 실행하려는 연구 저장소다. 최신 공개 릴리스는 없다. 저장소는 완성된 엔진이 아닌 진행 중인 작업이라고 밝히며, llama.cpp 패치와 가중치 조합 스크립트, 측정 도구와 메모를 제공한다. 따라서 새 버전의 출시라기보다 저장소에 공개된 실행 방식과 연구 자료를 살펴보는 내용이다.

핵심은 모델의 전문가 가중치를 NVMe에서 스트리밍해 메모리 사용을 나누는 방식이다. 전문가는 입력에 따라 모델이 선택해 사용하는 파라미터 묶음이다. README는 그래픽 카드 메모리, 고정된 시스템 메모리, NVMe를 사다리 형태로 활용하고 라우팅을 예측해 전문가를 선택적으로 생략한다고 설명한다. 주 언어는 Python이고 라이선스는 MIT-0이다. 이는 일반적인 추론 엔진 소개보다 제한된 메모리에서 대형 모델을 실행하려는 구체적인 구현 기록에 가깝다.

README에 기록된 성능 사례는 2026년 11월 4일 기준 1M 문서 실험이다. 해당 기록에는 946,058 토큰 처리, 처리 속도 365.78 tok/s, 답변 생성 속도 14.38 tok/s가 적혀 있다. 이는 단일 실행 결과이며 다른 성능 표와 조건이 다르다. README는 재현성에 제한이 있고 일부 구성 요소가 공개되지 않았다고 밝힌다. 따라서 이 수치는 비교 가능한 성능 평가보다 진행 중인 연구의 참고 기록으로 보는 편이 타당하다.