github.devotd.
새 소식추론/서빙

lmstudio-ai/mlx-engine — LM Studio의 오픈소스 MLX 추론 엔진

Apple MLX 기반의 오픈소스 추론 엔진으로, 텍스트 생성과 비전 모델 추론, 구조화 출력을 지원하며 Mac용 LM Studio에 사전 포함된다.

저장소 정보lmstudio-ai/mlx-engine ↗

Apple MLX 기반의 오픈소스 추론 엔진으로, 텍스트 생성과 비전 모델 추론, 구조화 출력을 지원하며 Mac용 LM Studio에 사전 포함된다.

GitHub 설명: LM Studio Apple MLX engine

스타
★ 1.2K
포크
135
언어
Python
라이선스
MIT
원문 보기 ↗GitHub에서 보기 ↗

lmstudio-ai/mlx-engine은 Mac용 LM Studio가 쓰는 오픈소스 MLX 추론 엔진이다. Apple의 MLX(맥에서 머신러닝 모델을 돌리는 라이브러리) 위에서 동작하며, Python으로 작성되고 MIT 라이선스를 따른다. Mac용 LM Studio를 겨냥한 프로젝트로, GitHub 스타는 1190개다. 저장소는 2024년 10월 7일에 만들어졌다.

이 엔진은 mlx-lm과 mlx-vlm, Outlines를 조합한다. mlx-lm과 mlx-vlm이 텍스트 생성과 비전 모델(이미지를 입력받아 내용을 판단하는 모델) 추론을 맡고, Outlines를 쓰는 구조화 출력 구성 요소는 모델이 자유로운 문장 대신 지정된 형식의 데이터를 내게 한다. 정해진 스키마를 따라야 하는 작업에 필요한 부분이다. 독립 실행 데모가 있어 LM Studio 없이 엔진만 실행해 볼 수 있고, 그 데모에서 추측 디코딩(speculative decoding, 후보를 먼저 만들어 모델이 검증해 확정하는 방식)도 확인할 수 있다. Mac용 LM Studio에는 이 엔진이 사전 포함된다. 텍스트 생성, 비전 추론, 구조화 출력을 각각 다른 라이브러리에 맡긴 구조로, LM Studio가 쓰는 엔진의 내부가 공개되어 있다는 점에 의미가 있다.

다만 남아 있는 기록은 많지 않다. 연구 기록의 모멘텀 점수는 1.7점으로 낮고, 새로움·기술·품질 점수는 주어지지 않았다. 성능을 비교한 벤치마크도 정리된 릴리스 버전도 없어서, 이 엔진이 어느 모델에서 얼마나 빠른지는 알 수 없다. 다른 엔진과 성능을 놓고 비교할 만한 숫자도 아직 없다. 성능 비교의 근거로 삼기에는 이른 상태다. Mac에서 LM Studio를 쓰는 사람이라면 이 저장소를 읽어 추론 엔진이 어떤 구성으로 이뤄지는지 참고할 만한 사례지만, 도입을 결정할 근거는 없다. 앞으로 버전이 공개될 때 비교 자료가 함께 나오는지가 다음에 볼 지점이다.