Devotd Github
새 소식추론/서빙

davidtai/turboexl3 — 애플 GPU용 EXL3 커널 라이브러리

davidtai/turboexl3는 Apple GPU에서 EXL3 양자화 가중치를 처리하는 Zig 기반 Metal 커널 라이브러리다.

저장소 정보davidtai/turboexl3 ↗

davidtai/turboexl3는 Apple GPU에서 EXL3 양자화 가중치를 처리하는 Zig 기반 Metal 커널 라이브러리다.

GitHub 설명: EXL3 trellis-quantized linears and MoE experts on Apple GPUs as MLX custom Metal kernels (Zig)

스타
★ 3
포크
0
언어
Zig
라이선스
NOASSERTION
원문 보기 ↗GitHub에서 보기 ↗

davidtai/turboexl3는 Apple GPU에서 EXL3 양자화 가중치를 직접 처리하는 Zig 기반 Metal 커널 라이브러리다. MLX가 Metal 커널을 실행하며, 별도 릴리스 버전은 공개되지 않았다. 저장소 설명에 따르면 트렐리스 코드(trellis code)로 압축된 가중치를 커널 안에서 복원한다.

이 설계는 혼합 전문가 층(MoE)의 라우팅 전문가를 분할 행렬·벡터 연산 경로로 처리하고, 어텐션과 게이트 델타 넷, 공유 전문가, 출력층은 행렬 곱 연산 경로로 처리한다. 가중치를 먼저 별도 복사본으로 풀지 않고 계산에 연결하는 방식이다. 저장소에는 호스트 참조 구현과 비교하는 테스트가 있으며, 치환되는 커널은 바이트 단위 동일성을 기준으로 삼고 합산 순서가 달라지는 커널에는 허용 오차를 둔다. 성능·코딩 평가 문서도 포함돼 있다. mlx-serve의 외부 양자화 플러그인으로 동작해 Apple Silicon의 로컬 추론 경로에 연결되는 프로젝트다.

다만 공개된 최신 릴리스는 없고, 라이선스 정보도 NOASSERTION으로 표시돼 확정할 수 없다. 평가 문서가 있다는 사실만으로 실제 성능이나 다른 추론 스택 대비 우위를 판단할 수는 없다. 현재 확인되는 강점은 EXL3 가중치 처리 경로와 커널 검증 설계이며, 성능 우위는 별도 근거가 필요한 상태다.