프로젝트

jundot/omlx

LLM inference server with continuous batching & SSD caching for Apple Silicon — managed from the macOS menu bar

게시물

새 소식OCT 18

jundot/omlx는 Apple Silicon에서 LLM을 실행하고 macOS 메뉴바 앱으로 관리하는 로컬 추론 서버다.