Devotd Github
새 소식추론/서빙

appatalks/synapse — 로컬 MoE 추론 실험을 담은 앱

appatalks/synapse는 로컬 채팅과 모델 제어 기능에 GPU·CPU 분산 MoE 추론 실험을 더한 Python 앱이다.

저장소 정보appatalks/synapse ↗

appatalks/synapse는 로컬 채팅과 모델 제어 기능에 GPU·CPU 분산 MoE 추론 실험을 더한 Python 앱이다.

GitHub 설명: Run MoE open weight models, faster - on local hardware.

스타
★ 2
포크
0
언어
Python
라이선스
MIT
원문 보기 ↗GitHub에서 보기 ↗

appatalks/synapse의 SYNAPSE는 로컬 채팅, 모델 제어, 하드웨어 모니터링, OpenAI 호환 API를 한곳에 제공하는 Python 앱이다. 저장소 설명은 로컬 하드웨어에서 오픈 웨이트 혼합 전문가 모델(MoE)을 더 빠르게 실행하는 것을 목표로 내세운다. 최신 릴리스 버전은 FACTS에 제시되지 않았다. 저장소에는 MIT 라이선스가 표시되어 있다.

선택형 실험 엔진은 GPU 용량을 넘는 MoE를 나눠 실행하는 구성이다. 자주 쓰는 전문가는 GPU에 두고, 차가운 전문가는 CPU에서 실행한다. 모델의 경로기가 선택한 전문가의 기여를 버리지 않으며 목표 가중치를 자르거나 다시 양자화하지 않는 것이 설계 목표다. 모델 계열마다 전문가 수와 선택 방식, 투영 구조가 달라 하나의 배치 규칙을 쓰기 어렵다. 저장소는 텐서에서 뽑은 기술 서술자를 배치 판단에 활용한다고 설명한다. 이 작업은 업스트림 llama의 전문가 캐시를 통합한 것이며, 새 발상이라고 주장하지 않는다.

실험적 가속은 Linux/NVIDIA 연구용 백엔드에서 제공되지만 품질 검증은 끝나지 않았다. 처리량 근거는 저자 측 표본 세 건에 한정되며, 엄격한 기준 로그 확률 비교와 정답 검사는 아직 통과하지 못했다. 한 모델 계열에서는 네이티브 동등성도 깨져 있다. 따라서 현재 근거만으로는 속도 목표와 출력 품질을 함께 달성했다고 보기 어렵고, 표준 실행 경로와 구분해 살펴야 한다.