github.devotd.
새 소식추론/서빙

nace-ai/kapitsa v0.1.36 — 애플 실리콘용 추론 엔진

nace-ai/kapitsa는 애플 실리콘에서 Qwen과 Nemotron 계열 모델을 실행하는 C++ 추론 엔진이다.

저장소 정보nace-ai/kapitsa ↗

Blazing fast Apple Silicon optimized inference engine built for Qwen and Nemotron. OpenAI + Anthropic API compatible. Built by folks from nace.ai

스타
★ 95
포크
1
언어
C++
라이선스
Apache-2.0
최신 릴리스
v0.1.36
원문 보기 ↗GitHub에서 보기 ↗

nace-ai/kapitsa의 최신 릴리스는 v0.1.36이다. 이 저장소는 애플 실리콘에서 Qwen과 Nemotron 계열 모델을 실행하기 위한 C++ 추론 엔진이다. 다만 제공된 정보에는 v0.1.36에서 바뀐 항목이 없어, 이번 릴리스의 구체적인 변경 내용은 확인할 수 없다.

프로젝트는 모델 로딩과 연산 커널, 서버를 통합하고 Metal 연산 커널과 모델별 구현을 제공한다고 설명한다. 추측 디코딩(speculative decoding)도 통합 대상이다. 이는 작은 모델이 먼저 토큰 후보를 만들고 큰 모델이 이를 검증해 생성 과정을 돕는 방식이다. README에 따르면 OpenAI 및 Anthropic API 호환 인터페이스와 채팅 화면도 제공한다. 기존 응용 프로그램과 연결할 수 있는 호환 서버를 갖춘 애플 실리콘용 실행 환경이라는 점이 특징이다. 저장소에는 문서와 시험 파일, 측정 도구도 포함돼 있다.

성능 표는 작성자의 측정 결과이며, 이번 분석에서 독립적으로 재현하지 않았다. 따라서 공개된 수치만으로 다른 실행 환경이나 모델과의 속도 차이를 확정하기는 어렵다. v0.1.36의 변경 내역도 주어지지 않아 성능이나 기능의 개선 여부를 판단할 근거는 제한적이다. 확인되는 구성과 API 호환성은 프로젝트의 범위를 보여주지만, 성능 주장은 별도 검증이 필요한 상태다.