Devotd Github
新发现推理与服务

zhongkaifu/tensorsharp v2026.10.23 — .NET GGUF 推理引擎

介绍 zhongkaifu/tensorsharp 的本地 GGUF 推理能力、提供的接口以及支持范围。

仓库信息zhongkaifu/tensorsharp ↗

介绍 zhongkaifu/tensorsharp 的本地 GGUF 推理能力、提供的接口以及支持范围。

GitHub 项目说明: A native .NET LLM inference engine and agent runtime for GGUF models. TensorSharp provides a console application, a web-based chatbot interface, iPhone App, and Ollama/OpenAI-compatible HTTP APIs for programmatic access. It supports Windows/MacOS/iOS/Linux with full GPU capability

星标
★ 643
复刻
68
语言
C#
许可证
BSD-3-Clause
最新版本
v2026.10.23
查看原始来源 ↗在 GitHub 查看 ↗

zhongkaifu/tensorsharp 的最新发布版本号为 v2026.10.23。该仓库是一个基于 .NET 10 的推理引擎兼 agent 运行时,可在本地运行 GGUF 模型。它提供控制台应用、网页聊天界面、iPhone 应用,以及兼容 Ollama/OpenAI 的 HTTP API。不过,给定的资料中没有列出该版本新变更的内容,因此无法确认具体的发布改动。

除了运行模型之外,该项目还支持文本与推理、多模态处理、嵌入、图像与视频生成、Agent Skills 和代码工具。它有 C# 的 CPU 后端以及 CUDA、Metal、Vulkan 后端,TensorAgent 应用可在 iPhone、iPad、Mac、Windows 上使用。稀疏注意力是一种跳过部分注意力计算的方式。研究摘要称专用 CUDA 内核在 64K prefill 上快 9.8 倍,但没有给出对比基准。该仓库采用 BSD-3-Clause 许可,功能与后端支持因模型而异。

因此,支持功能的广度与具体的性能说法应当分开理解。README 摘要介绍了多个界面和任务类型,但没有说所有功能在所有模型上都能工作。64K prefill 的 9.8 倍同样没有给出基准,无法解读为与其他引擎的性能比较。资料中也缺少最新版本的改动清单,因此没有依据判断 v2026.10.23 中新增或修正了什么。