新发现
ollama/ollama v0.40.5 — 本地与云端模型运行时
ollama/ollama 是一个运行时服务器，可在本地或云端运行开放模型，并把它们接入多种工具。
CURATED OPEN SOURCE INTELLIGENCE
#llm-infra
新发现
surya-koritala/glyd — bf16 权重与 KV 缓存的无损压缩
介绍 surya-koritala/glyd 的无损 GPU 内存压缩方式，以及其 README 中公布的实测结果。
发布
ashishsinha1602/schemagate v1.6.0 — 新增权限限制提示
ashishsinha1602/schemagate v1.6.0 是一次发布，它会向模型告知被权限隐藏的模式，并对缺乏依据的查询要求回答 INSUFFICIENT。
新发现
srkrz23/vramkit — 权重与 KV 缓存双路显存压缩
srkrz23/vramkit 是一个 Python 仓库，实现了无损权重编解码器，以及对 K 与 V 施加不同量化轴的 KV 缓存压缩。
新发现
jevagentharness/jevagentharness — 编码智能体的模型路由代理
jevagentharness/jevagentharness 是一个对编码智能体的每个步骤进行分类并分配模型的代理，本文介绍 README 中在 Terminal-Bench 2.0 上的实测结果及其局限。
新发现
perplexityai/space — 基于 Rust 的智能体沙箱
perplexityai/space 是一个基于 Rust 的沙箱平台，用于隔离并运行智能体与用户代码。
新发现
indras-mirror/xolotl — 面向单 GPU 的大型 MoE 推理引擎
Xolotl 是在 Strata 基础上扩展的 C++ 引擎，通过 OpenAI/Anthropic 兼容服务器提供多个大型模型；README 给出的 RTX 4090 上 DeepSeek-V4.1-Flash 552B 的 decode 速度为 26.8 tok/s。
新发现
nandhakishorm/laya v0.4.9 — 非自回归决策引擎
介绍 nandhakishorm/laya 的 v0.4.9、该引擎在选择、评分与是否判定方面的支持范围，以及它公开说明的局限。
新发现
rtk-ai/rtk v1.0.1 — 用于节省 token 的 CLI 代理
rtk-ai/rtk 是一个 Rust CLI 代理，它对开发命令输出进行压缩、路由和过滤，从而减少 LLM 的 token 消耗。
发布
ggml-org/llama.cpp b11700 — 新增 Granite Switch decision 转换器
llama.cpp b11700 新增了 Granite Switch 系列模型的 decision 转换与支持路径。
新发现
unclecode/crawl4ai v0.9.5 — 把网页变成 Markdown 的爬虫
unclecode/crawl4ai v0.9.5 是一个开源爬虫／抓取工具，可将网站转换为适合 LLM 使用的 Markdown。
发布
ggml-org/llama.cpp b11683 — Vulkan 主机内存导入修复
llama.cpp nightly b11683 修正了 Vulkan 后端的主机内存导入失败日志以及 AMD 的缓冲区共享路径。
新发现
antirez/ds4 — 面向 Metal、CUDA、ROCm 的本地推理引擎
antirez/ds4 是一个基于 C 的本地推理引擎，可在 Metal、CUDA、ROCm 上运行部分模型。
发布
yetone/magpie v0.1.1257 — 插件改版与 JS gateway
yetone/magpie v0.1.1257 是一次改版插件功能并新增 Lody 智能体支持的功能发布。
新发现
magnitudedev/magnitude — 针对硬件定制的本地推理引擎
magnitudedev/magnitude 是一个基于 Rust 的开源引擎，会针对硬件调优内核并将其用于模型推理。
发布
scaleapi/agentenv-framework v0.9.1331 — 支持按运行覆盖配置
scaleapi/agentenv-framework v0.9.1331 提供了经由网关的 MCP 服务器示例，以及按运行覆盖配置的功能。
发布
nousresearch/hermes-agent v0.22.2 — 修复网关启动问题
nousresearch/hermes-agent v0.22.2 是一次发布，它替换了构建有误的 v0.22.1，并修复了网关启动问题以及笔记本上本地模型对话的重试行为。
新发现
infiniflow/ragflow v1.0.0-rc1 — 结合 RAG 与智能体的引擎
infiniflow/ragflow 是一个开源引擎，将 RAG 与智能体能力结合起来，为大语言模型（LLM）提供上下文层。
新发现
flashml-org/freetoken v0.1.3 —— 面向桌面的 MoE 推理引擎
介绍 flashml-org/freetoken 为在边缘硬件上服务大型 MoE 模型所提供的功能，以及其性能信息的局限。
发布
ggml-org/llama.cpp b11630 — 每日构建自动发布
ggml-org/llama.cpp 的 b11630 是一次每日构建自动发布，其变更内容仅在提交信息层面有所描述。
没有符合条件的动态。