Devotd Github
새 소식추론/서빙

jay7828/dooms v0.6.1 — Apple Silicon용 추론 엔진

jay7828/dooms는 Apple Silicon에서 Metal과 Core ML로 언어·음성·시각 모델을 실행하는 C++ 추론 엔진이며, 제공된 자료에서 최신 릴리스는 v0.6.1이다.

저장소 정보jay7828/dooms ↗

jay7828/dooms는 Apple Silicon에서 Metal과 Core ML로 언어·음성·시각 모델을 실행하는 C++ 추론 엔진이며, 제공된 자료에서 최신 릴리스는 v0.6.1이다.

GitHub 설명: Fast inference engine for Apple Silicon: 4-bit LLMs at 256 tok/s (MLX: 224), Whisper, Kokoro TTS. Metal + Core ML, Python/C++.

스타
★ 1
포크
0
언어
C++
라이선스
Apache-2.0
최신 릴리스
v0.6.1
원문 보기 ↗GitHub에서 보기 ↗

jay7828/dooms는 Apple Silicon용 C++ 추론 엔진이다. 제공된 자료에서 최신 릴리스는 v0.6.1이지만, 이 버전의 변경 내역은 주어지지 않았다. 따라서 이번 릴리스에서 무엇이 바뀌었는지는 확인할 수 없다. 저장소 설명은 4비트 언어 모델 추론과 Whisper 음성 인식, Kokoro 음성 합성을 지원한다고 밝힌다. 또한 초당 256 토큰이라는 수치를 제시하며, 비교 대상으로 적힌 MLX 수치는 초당 224 토큰이다.

이 엔진은 Apple Silicon의 Metal과 Core ML을 이용해 언어·음성·시각언어·시각언어행동 모델을 실행하는 것을 목표로 한다. C++, C, Python 인터페이스를 제공하며, 라마와 큐원 2 계열은 자체 Metal 디코더로 처리하고 그 밖의 GGUF 모델은 llama.cpp를 통해 지원한다고 README가 설명한다. 저장소에는 CMake 빌드 설정과 엔진 소스, 벤치마크 코드가 있으며, README는 텍스트·음성·시각 모델의 비교 측정과 재현 스크립트를 제시한다. 라이선스는 Apache-2.0이다.

다만 공개 성능 수치는 M1 Pro 등 제한된 환경의 측정이며, README는 다른 기기에서도 같은 성능이 나온다고 보장하지 않는다. 따라서 저장소 설명의 처리량은 보편적인 Apple Silicon 성능으로 받아들이기 어렵다. 측정 조건이 한정된 만큼, 성능 판단은 제시된 환경에 국한해야 한다.