jundot/omlx는 Apple Silicon용 LLM 추론 서버다. 최신 릴리스는 v0.7.1rc1이며, 제공된 저장소 기록에는 이 버전의 변경 목록이 없다. 따라서 이번 릴리스에서 무엇이 바뀌었는지는 확인할 수 없다. 저장소 README는 연속 배치와 메모리·SSD 2단계 KV 캐시를 핵심 기능으로 소개하고, macOS 메뉴바 앱을 통한 관리를 설명한다.
이 프로젝트는 모델을 로컬에서 실행하는 데 필요한 추론 서버와 운영 기능을 함께 제공한다. README에 따르면 KV 캐시는 대화 중 컨텍스트가 바뀌어도 이전 컨텍스트를 남겨 요청 사이에 재사용한다. 또한 자주 쓰는 everyday 모델은 메모리에 유지하고, 무거운 모델은 요청이 들어오면 자동으로 교환하는 방식을 제시한다. 구현 언어는 Python이며 라이선스는 Apache-2.0이다. README 배지에는 Python 3.11~3.13이 명시돼 있고, 설치 경로로 릴리스 .dmg와 Homebrew를 안내한다.
성능 수치는 README 본문에 없으며, 외부 사이트 oMLX.ai로 연결돼 있다. 따라서 제공된 자료만으로 처리량이나 지연, 캐시의 성능상 이점을 판단할 수 없다. 최신 릴리스는 RC이고 변경 목록도 확인되지 않아, v0.7.1rc1의 구체적인 변화 역시 자료의 범위를 넘어선다.