github.devotd.
새 소식추론/서빙

deepseek-ai/deepgemm v2.1.1.post3 — GPU 텐서 코어 커널 라이브러리

deepseek-ai/deepgemm v2.1.1.post3은 NVIDIA GPU에서 FP8·FP4·BF16 행렬곱과 MoE 연산을 런타임에 컴파일해 실행하는 CUDA 커널 라이브러리의 최신 릴리스다.

저장소 정보deepseek-ai/deepgemm ↗

deepseek-ai/deepgemm v2.1.1.post3은 NVIDIA GPU에서 FP8·FP4·BF16 행렬곱과 MoE 연산을 런타임에 컴파일해 실행하는 CUDA 커널 라이브러리의 최신 릴리스다.

GitHub 설명: DeepGEMM: clean and efficient BLAS kernel library on GPU

스타
★ 9.1K
포크
1.4K
언어
Cuda
라이선스
MIT
최신 릴리스
v2.1.1.post3
원문 보기 ↗GitHub에서 보기 ↗

deepseek-ai/deepgemm의 최신 릴리스는 v2.1.1.post3이다. NVIDIA GPU용 BLAS 커널 라이브러리로, 행렬곱(GEMM)과 혼합 전문가(Mixture of Experts, MoE) 연산을 가속한다. 핵심 연산은 FP8·FP4·BF16 행렬곱과 MoE이며, 커널을 런타임에 컴파일해 GPU에 맞게 최적화한다.

README는 이 저장소를 통합 고성능 텐서 코어(tensor core) 커널 라이브러리라고 설명한다. 범위는 FP8·FP4·BF16 GEMM을 넘어, 통신을 계산에 겹쳐 수행하는 fused MoE인 Mega MoE, lightning indexer에 쓰이는 MQA scoring, HyperConnection까지 하나의 CUDA 코드베이스에 담고 있다. 모든 커널을 DeepJIT으로 런타임에 컴파일하므로 설치 중 CUDA 컴파일이 필요 없다. 라이선스는 MIT, 주 언어는 Cuda, 기록된 별 개수는 9050이다.

다만 v2.1.1.post3에서 바뀐 내역은 주어진 자료에 들어 있지 않다. 이번 버전에 무엇이 추가·변경되었는지는 저장소의 릴리스 노트를 직접 확인해야 한다. 성능 벤치마크 수치와 검증 환경도 제공되지 않아, 어느 GPU와 모델 크기에서 얼마나 빠른지는 판단하기 이르다. 리서치 기록은 모멘텀 점수 6.3만 매기고 신흥성·기술·품질 점수는 산출하지 않았다. 확인되지 않은 성능 수치를 전제로 한 도입 판단을 내리기는 어렵다.