jundot/omlx は Apple Silicon 向けの LLM 推論サーバーである。最新リリースは v0.7.1rc1 だが、提供されたリポジトリ履歴にはこのバージョンの変更一覧が存在しない。そのため、このリリースで何が変更されたかは確認できない。リポジトリの README は連続バッチ処理とメモリ・SSD の 2 段階 KV キャッシュを主要機能として紹介し、macOS メニューバーアプリによる管理を説明している。
このプロジェクトはモデルをローカルで実行するために必要な推論サーバーと運用機能を併せて提供する。README によると、KV キャッシュは会話の中でコンテキストが変わっても以前のコンテキストを保持し、リクエスト間で再利用する。また、よく使う everyday モデルはメモリに保持し、重いモデルはリクエストが入ったら自動的に入れ替えるという方式を提示している。実装言語は Python、ライセンスは Apache-2.0 である。README のバッジには Python 3.11~3.13 が記載され、インストール手順としてはリリースの .dmg と Homebrew を案内している。
性能指標は README 本文には記載されておらず、外部サイト oMLX.ai へのリンクとなっている。そのため、提供された資料だけではスループットやレイテンシ、キャッシュの性能上の利点を判断できない。最新リリースは RC であり、変更一覧も確認されていないため、v0.7.1rc1 の具体的な変更も資料の範囲を超える。