Devotd Github
새 소식추론/서빙

bobclawblaw/ripple-65b-nvfp4-m5-ultra — M5 Ultra용 모델 배포

Ripple-65B-Preview와 DFlash2 drafter를 M5 Ultra의 TensorFold Metal 엔진에서 구동하는 배포 저장소다.

저장소 정보bobclawblaw/ripple-65b-nvfp4-m5-ultra ↗

Ripple-65B-Preview와 DFlash2 drafter를 M5 Ultra의 TensorFold Metal 엔진에서 구동하는 배포 저장소다.

GitHub 설명: Ripple-65B-Preview (ricursiveAI's NVFP4 release + its DFlash2 drafter, as published) on one M5 Ultra with TensorFold's native Metal engine: OpenAI-compatible server, tool calls, structured output, prompt cache

스타
★ 0
포크
0
언어
Python
라이선스
MIT
원문 보기 ↗GitHub에서 보기 ↗

bobclawblaw/ripple-65b-nvfp4-m5-ultra는 ricursiveAI가 공개한 NVFP4 양자화판 Ripple-65B-Preview와 DFlash2 drafter를 Apple M5 Ultra 한 대에서 구동하는 배포 저장소다. 새 버전 출시는 없으며, 저장소가 제공하는 것은 해당 구성을 위한 실행 환경과 OpenAI 호환 서버다. 서버는 도구 호출, 구조화된 출력, 프롬프트 캐시와 여러 스트림을 지원한다.

저장소 설명에 따르면 어텐션과 임베딩, 출력층은 16비트 실수로 유지하고 다층 부분은 4비트로 저장한다. 이 구성은 모델 메모리를 줄이는 양자화 방식과 초안 모델을 이용한 추측 디코딩을 결합한다. 실행 엔진은 TensorFold의 네이티브 Metal 엔진이다. Python으로 작성됐고 MIT 라이선스를 사용한다. README에는 맥용 서버 설정, 모델 내려받기, 빌드와 실행 절차가 담겨 있다.

다만 필요한 엔진 변경분은 아직 상류 기본 가지에 포함되지 않아 별도 변경분을 사용한다고 README가 밝힌다. 속도와 정확성 결과도 특정 장비와 모델 개정판을 기준으로 한 저장소 자체 점검으로 제시된다. 따라서 이 저장소는 해당 구성을 재현하는 안내에 가깝고, 결과를 다른 환경의 성능 근거로 보기는 어렵다.