项目

jundot/omlx

LLM inference server with continuous batching & SSD caching for Apple Silicon — managed from the macOS menu bar

文章

新发现OCT 18

jundot/omlx 是一个在 Apple Silicon 上运行 LLM、并通过 macOS 菜单栏应用进行管理的本地推理服务器。