Devotd Github
새 소식추론/서빙

mizorewww/laya-mlx v0.5.0 — Apple Silicon용 MLX 결정 모델 런타임

Laya의 타입 기반 의사결정 모델을 Apple Silicon에서 실행하는 MLX 런타임 저장소다.

저장소 정보mizorewww/laya-mlx ↗

Laya의 타입 기반 의사결정 모델을 Apple Silicon에서 실행하는 MLX 런타임 저장소다.

GitHub 설명: Native MLX runtime for Laya typed decision models — 7–14 ms short decisions on M3 Max. No text generation, PyTorch, or cloud API.

스타
★ 7K
포크
570
언어
Python
라이선스
Apache-2.0
최신 릴리스
v0.5.0
원문 보기 ↗GitHub에서 보기 ↗

mizorewww/laya-mlx는 Laya의 타입 기반 의사결정 모델을 Apple Silicon에서 MLX로 실행하도록 독립적으로 포팅한 저장소다. 확인된 최신 릴리스는 v0.5.0이다. 제공된 자료에는 이 버전의 변경 내역이 적혀 있지 않다.

이 런타임은 문장을 이어 쓰는 대신 정해진 질문에 대한 결정을 내린다. `choice`는 선택지별 확률을, `score`는 채점 기준에 따른 기대 점수를, `noul`은 명제가 참일 확률을 반환한다. 양방향 인코더로 처리해 JSON을 생성한 뒤 파싱하는 과정이 필요하지 않다. 영어·다국어 및 typed-decisions 체크포인트와 Python API, CLI, Snake 데모를 제공하며, RLCD 학습과 파인튜닝은 업스트림 프로젝트에서 수행한다. PyTorch나 클라우드 API 없이 MLX에서 동작하고, 공개 가중치와 판단 확률 출력을 갖춘 점은 로컬 에이전트 라우팅에 활용할 수 있는 구성이다.

저장소 설명의 짧은 결정 지연은 M3 Max 기준 7–14 ms다. 컴파일 경로와 접두사 재사용 경로를 두고 동일 실행 조건의 즉석 실행 대조군과 짝 비교를 보고하지만, 이 수치를 다른 하드웨어 성능으로 확대해 해석할 근거는 없다. 질문 1건의 API 벤치마크와 실제 게임 루프 지연도 구분해야 하므로, 제시된 지연은 해당 기기와 측정 범위 안에서만 참고할 수 있다.