github.devotd.
새 소식추론/서빙

zw5/ane-fieldfare — Apple Silicon용 Gemma 4 26B-A4B 추론 엔진

Apple Neural Engine으로 입력을 처리하고 GPU에서 추측 디코딩을 수행하는 Gemma 4 26B-A4B 로컬 추론 엔진 zw5/ane-fieldfare를 소개한다.

저장소 정보zw5/ane-fieldfare ↗

Apple Neural Engine으로 입력을 처리하고 GPU에서 추측 디코딩을 수행하는 Gemma 4 26B-A4B 로컬 추론 엔진 zw5/ane-fieldfare를 소개한다.

GitHub 설명: Run Gemma 4 26B-A4B, fast.

스타
★ 1
포크
2
언어
Swift
라이선스
Apache-2.0
원문 보기 ↗GitHub에서 보기 ↗

zw5/ane-fieldfare(ANE Fieldfare)는 Apple Silicon에서 Gemma 4 26B-A4B를 실행하는 로컬 추론 엔진이다. Swift로 작성됐고 Apache-2.0 라이선스로 공개됐다. 정식 릴리스는 아직 없으며, 모델을 자기 기기에서 직접 돌리는 쪽을 겨냥한다.

이 저장소는 가속기를 둘로 나눠 쓴다. 입력 처리, 즉 프리필(prefill)은 신경망 연산 전용 블록인 Apple Neural Engine(ANE)이 맡고, 모델 연산과 추측 디코딩(speculative decoding)은 GPU가 담당한다. 추측 디코딩은 다음 토큰의 후보를 여러 개 먼저 뽑아 한 번에 검증하는 방식이다. 메모리 매핑된 모델 파일을 읽으며, 운영체제 파일 캐시는 전문가(expert) 가중치 보관소로 활용한다. 저장소에는 설치기와 서버, Metal 커널, 모델 처리와 통신 시험이 들어 있다.

다만 이 분담이 안정적이지 않을 수 있다는 점이다. README는 Neural Engine 경로가 비공개 Apple 프레임워크에 의존해 macOS 업데이트로 동작이 깨질 수 있다고 밝힌다. 성능 수치도 README의 측정 설명만으로 독립적으로 확인하기 어렵다. 별이 1개이고 2026년 10월 20일 만들어진 저장소라, 정착된 도구로 보기보다 시험해 볼 후보에 가깝다.