Devotd Github
새 소식추론/서빙

staylamebro/backburner — iPhone과 Mac의 27B 모델 분산 추론

staylamebro/backburner는 USB-C로 연결한 Apple Silicon Mac과 iPhone에서 Qwen3.8-27B를 로컬로 실행하는 분산 추론 도구다.

저장소 정보staylamebro/backburner ↗

staylamebro/backburner는 USB-C로 연결한 Apple Silicon Mac과 iPhone에서 Qwen3.8-27B를 로컬로 실행하는 분산 추론 도구다.

GitHub 설명: Your iPhone helps your Mac run a 27B model: faster prompt reading and more context over a USB-C cable

스타
★ 1.1K
포크
112
언어
Python
라이선스
MIT
원문 보기 ↗GitHub에서 보기 ↗

staylamebro/backburner는 Apple Silicon Mac과 iPhone을 USB-C로 연결해 Qwen3.8-27B를 로컬에서 실행하는 분산 추론 도구다. 저장소 설명에 따르면 두 기기는 10 Gb/s 연결을 사용하며, iPhone을 더해 입력 처리 속도와 컨텍스트 길이를 늘리는 것이 목적이다. 등록된 최신 릴리스는 없다.

작동 방식은 문맥 길이에 따라 달라진다. 64k 이하에서는 모델 계층을 나눠 Mac이 1~40층, iPhone이 41~64층을 맡고, 입력 토큰을 한꺼번에 처리하는 prefill도 두 기기에서 분담한다. 64k를 넘으면 iPhone이 오래된 키의 attention을 계산해 더 긴 컨텍스트를 지원한다. 단일 Mac 경로에는 자체 llama.cpp 포크의 SME2 커널, Metal 퓨전, DFlash2 기준 추론 디코딩을 포함해 속도 향상을 제시한다. 프로젝트는 Python으로 작성됐고 MIT 라이선스다.

정합성 근거는 README가 보고한 제한된 그리디 출력 비교에 그친다. 결과 동일성은 256/256과 32/32 토큰 조건에서 확인됐으며, 자동 테스트 범위도 보안 폴더 5개로 한정된다. 따라서 여러 기기를 함께 쓰는 추론 경로와 컨텍스트 확장 방식은 구체적이지만, 이 자료만으로 다양한 조건의 정확도나 회귀 안전성까지 판단하기는 어렵다.