新发现
ollama/ollama v0.40.5 — 本地与云端模型运行时
ollama/ollama 是一个运行时服务器，可在本地或云端运行开放模型，并把它们接入多种工具。
CURATED OPEN SOURCE INTELLIGENCE
#local-ai
新发现
fesens/opentpu — 由 AI 代理设计的开源 AI 加速器
fesens/opentpu 是一个由 AI 代理设计的开源 AI 加速器仓库，把从硬件到编译器的内容集中在一个仓库中，并给出了 Kintex-7 卡片上的运行结果。
新发现
l-forster/open-jet v0.5.0 — 离线代理与 CUDA 推理引擎
l-forster/open-jet 提供面向本地模型的离线编码代理和用于 Qwen3.8-27B 的 CUDA 推理引擎，最新版本为 v0.5.0。
新发现
indras-mirror/xolotl — 面向单 GPU 的大型 MoE 推理引擎
Xolotl 是在 Strata 基础上扩展的 C++ 引擎，通过 OpenAI/Anthropic 兼容服务器提供多个大型模型；README 给出的 RTX 4090 上 DeepSeek-V4.1-Flash 552B 的 decode 速度为 26.8 tok/s。
发布
niko1221/strata v0.1.45 — Qwen3.6 图像输入与并发请求
niko1221/strata v0.1.45 支持 Qwen3.6-35B-A3B 的图像输入与最多 8 个并发请求，性能收益会随显存余量而变化。
新发现
alexsjones/llmfit v1.1.17 — 按硬件推荐模型
alexsjones/llmfit v1.1.17 是一个 Rust 命令行工具，可推荐适合你硬件的语言模型并分享实测基准数据。
发布
ggml-org/llama.cpp b11700 — 新增 Granite Switch decision 转换器
llama.cpp b11700 新增了 Granite Switch 系列模型的 decision 转换与支持路径。
新发现
sno-ai/sno-station v1.3.9 — 智能体小队框架
sno-ai/sno-station 是一个本地运行的框架，让多个编码智能体共享加密记忆并相互交接任务。
发布
ggml-org/llama.cpp b11683 — Vulkan 主机内存导入修复
llama.cpp nightly b11683 修正了 Vulkan 后端的主机内存导入失败日志以及 AMD 的缓冲区共享路径。
新发现
antirez/ds4 — 面向 Metal、CUDA、ROCm 的本地推理引擎
antirez/ds4 是一个基于 C 的本地推理引擎，可在 Metal、CUDA、ROCm 上运行部分模型。
发布
arahim3/digup v0.7.0-beta.1 — 扩展 Windows 与 Linux 支持
DigUp 依据照片、PDF、文档、录音、视频、代码的内容搜索电脑，在 v0.7.0-beta.1 中首次扩展到 Windows 和 Linux。
新发现
magnitudedev/magnitude — 针对硬件定制的本地推理引擎
magnitudedev/magnitude 是一个基于 Rust 的开源引擎，会针对硬件调优内核并将其用于模型推理。
发布
nousresearch/hermes-agent v0.22.2 — 修复网关启动问题
nousresearch/hermes-agent v0.22.2 是一次发布，它替换了构建有误的 v0.22.1，并修复了网关启动问题以及笔记本上本地模型对话的重试行为。
新发现
tigerless-labs/agent-memory — 基于 Markdown 的智能体长期记忆运行时
介绍 tigerless-labs/agent-memory 的 Markdown 存储方式与智能体长期记忆的检索结构。
新发现
flashml-org/freetoken v0.1.3 —— 面向桌面的 MoE 推理引擎
介绍 flashml-org/freetoken 为在边缘硬件上服务大型 MoE 模型所提供的功能，以及其性能信息的局限。
发布
Niko1221/Strata v0.1.44.1 — 旧款 CPU 的 SIGILL 热修复
Strata v0.1.44.1 修复了旧款 CPU 上的 SIGILL 错误、构建问题以及服务器的崩溃重试行为。
发布
ggml-org/llama.cpp b11630 — 每日构建自动发布
ggml-org/llama.cpp 的 b11630 是一次每日构建自动发布，其变更内容仅在提交信息层面有所描述。
没有符合条件的动态。