defai-digital/ax-engine 是一个在 Apple Silicon 上提供多种语言模型的运行时环境，其最新版本是 v7.8.0。
defai-digital/ax-engine 是一个在 Apple Silicon 上提供多种语言模型的运行时环境，其最新版本是 v7.8.0。
GitHub 项目说明: One Mac process. Many models. Real speed. Multi-model LLM serving with prefix reuse, MTP acceleration, and OpenAI APIs — built for Apple Silicon, measured against mlx-lm and llama.cpp.
defai-digital/ax-engine 是一个基于 MLX 的运行时环境，在 Apple Silicon 上提供多种语言模型。最新版本是 v7.8.0。FACTS 中没有关于此版本改动内容的具体记录，因此无法确认具体变更。仓库说明将多模型服务、前缀复用和 MTP 加速列为主要功能，并表示还提供 OpenAI API。
据 README 所述，它区分按模型划分的包与可选功能，并涵盖多个模型的常驻、请求路径选择、调度和键值缓存。前缀复用是指复用多个请求所共享的前缀部分的计算。键值缓存是保存并利用模型在处理 token 时产生的键和值信息的功能。仓库说明称其将 mlx-lm 和 llama.cpp 作为对比对象。该项目使用 Rust 编写，采用 Apache-2.0 许可证。
不过，README 中关于性能与质量的说法仅限于特定的硬件和模型组合。部分加速功能被说明为尚待验证，或属于实验性可选功能。对比测量的具体结果不在 FACTS 中，v7.8.0 的变更记录也未给出。因此在可确认的范围内，可以考察其功能构成与支持方向，但尚缺乏判断性能优势或本次发布改进点的依据。
mikealanni/gufo 是一个在 AMD Strix Halo 上同时利用 GPU 与 XDNA2 NPU 的本地推理引擎。
flashml-org/freevideo v0.4.27 是一次改进了 ComfyUI 运行方式以及 CUDA 错误后继续解码功能的发布。
ggml-org/llama.cpp b12032 是一次发布，其变更内容是在 SYCL 构建中查找 Level Zero 的头文件和库时改为尝试使用 pkg-config。
没有符合条件的动态。