jesdga95/basalt

可在本地或云端运行多种开放模型的通用推理引擎。

一款用于在本地执行大语言模型的通用 C/C++ 推理引擎。

一款为 Qwen3.8-Flash-Next 提供一键安装及本地兼容 API 的完整推理引擎。

通过 Metal、CUDA 和 ROCm 在本地运行特定 DeepSeek、GLM 与 Qwen 模型，并支持 SSD 流式加载。

OMLX 是一款 Apple Silicon 本地 LLM 推理服务器，支持连续批处理、SSD/KV 缓存和菜单栏管理。

在GPU、CPU和主机内存上本地服务超大MoE模型的推理引擎。