新发现
ollama/ollama v0.40.5 — 本地与云端模型运行时
ollama/ollama 是一个运行时服务器，可在本地或云端运行开放模型，并把它们接入多种工具。
CURATED OPEN SOURCE INTELLIGENCE
推理与服务
新发现
srkrz23/vramkit — 权重与 KV 缓存双路显存压缩
srkrz23/vramkit 是一个 Python 仓库，实现了无损权重编解码器，以及对 K 与 V 施加不同量化轴的 KV 缓存压缩。
新发现
l-forster/open-jet v0.5.0 — 离线代理与 CUDA 推理引擎
l-forster/open-jet 提供面向本地模型的离线编码代理和用于 Qwen3.8-27B 的 CUDA 推理引擎，最新版本为 v0.5.0。
新发现
indras-mirror/xolotl — 面向单 GPU 的大型 MoE 推理引擎
Xolotl 是在 Strata 基础上扩展的 C++ 引擎，通过 OpenAI/Anthropic 兼容服务器提供多个大型模型；README 给出的 RTX 4090 上 DeepSeek-V4.1-Flash 552B 的 decode 速度为 26.8 tok/s。
新发现
nandhakishorm/laya v0.4.9 — 非自回归决策引擎
介绍 nandhakishorm/laya 的 v0.4.9、该引擎在选择、评分与是否判定方面的支持范围，以及它公开说明的局限。
发布
niko1221/strata v0.1.45 — Qwen3.6 图像输入与并发请求
niko1221/strata v0.1.45 支持 Qwen3.6-35B-A3B 的图像输入与最多 8 个并发请求，性能收益会随显存余量而变化。
新发现
alexsjones/llmfit v1.1.17 — 按硬件推荐模型
alexsjones/llmfit v1.1.17 是一个 Rust 命令行工具，可推荐适合你硬件的语言模型并分享实测基准数据。
新发现
antirez/ds4 — 面向 Metal、CUDA、ROCm 的本地推理引擎
antirez/ds4 是一个基于 C 的本地推理引擎，可在 Metal、CUDA、ROCm 上运行部分模型。
新发现
magnitudedev/magnitude — 针对硬件定制的本地推理引擎
magnitudedev/magnitude 是一个基于 Rust 的开源引擎，会针对硬件调优内核并将其用于模型推理。
新发现
flashml-org/freetoken v0.1.3 —— 面向桌面的 MoE 推理引擎
介绍 flashml-org/freetoken 为在边缘硬件上服务大型 MoE 模型所提供的功能，以及其性能信息的局限。
发布
Niko1221/Strata v0.1.44.1 — 旧款 CPU 的 SIGILL 热修复
Strata v0.1.44.1 修复了旧款 CPU 上的 SIGILL 错误、构建问题以及服务器的崩溃重试行为。
发布
ggml-org/llama.cpp b11630 — 每日构建自动发布
ggml-org/llama.cpp 的 b11630 是一次每日构建自动发布，其变更内容仅在提交信息层面有所描述。
没有符合条件的动态。