Devotd Github
새 소식추론/서빙

zephel01/abyss v1.3.54 — 단일 그래픽카드용 혼합 전문가 추론 엔진

zephel01/abyss는 DeepSeek V4 Flash와 V4.1 Flash 계열 모형을 단일 소비자용 그래픽카드에서 실행하는 것을 목표로 하는 추론 엔진이다.

저장소 정보zephel01/abyss ↗

zephel01/abyss는 DeepSeek V4 Flash와 V4.1 Flash 계열 모형을 단일 소비자용 그래픽카드에서 실행하는 것을 목표로 하는 추론 엔진이다.

스타
★ 18
포크
2
언어
C++
라이선스
MIT
최신 릴리스
v1.3.54
원문 보기 ↗GitHub에서 보기 ↗

zephel01/abyss는 DeepSeek V4 Flash와 V4.1 Flash 계열의 혼합 전문가 모형을 소비자용 그래픽카드 한 장에서 실행하는 것을 목표로 하는 추론 엔진이다. 기록된 최신 릴리스 태그는 v1.3.54다. 다만 이 버전에서 무엇이 바뀌었는지는 제공된 정보에 없다. README는 이 프로젝트가 Project Maya에서 갈라져 나왔다고 설명한다.

혼합 전문가 모형(MoE)은 여러 전문가 가운데 필요한 부분을 골라 사용하는 방식이다. Abyss는 자주 쓰는 전문가를 그래픽카드 메모리에 두고, 나머지는 고정 메모리와 NVMe 저장장치에서 불러오는 계층형 실행 방식을 설명한다. 리눅스를 대상으로 하며 CUDA를 지원하고 ROCm 지원은 실험 단계다. 브라우저 대화 화면과 OpenAI 및 Anthropic 호환 API도 제공한다. C++로 작성됐고 MIT 라이선스이며, 별 수는 18개다. README에는 여러 그래픽카드와 모형 설정의 측정 표, 동작 원리 설명, 수동 문서가 있다.

측정 표에는 하드웨어와 모형 설정이 함께 제시되어 있어, 수치를 볼 때는 해당 조건도 확인해야 한다. 특히 ROCm 지원은 실험 단계로 표시되어 있다. 따라서 이 저장소가 보여 주는 것은 단일 그래픽카드 실행을 위한 계층형 구조와 지원 경로이며, 측정값은 각 조건에 한정해 읽는 편이 타당하다.