Devotd Github
新着推論・サービング

zhongkaifu/tensorsharp v2026.10.23 — .NET GGUF 推論エンジン

zhongkaifu/tensorsharp のローカル GGUF 推論機能、提供されるインターフェース、対応範囲を紹介する。

リポジトリ情報zhongkaifu/tensorsharp ↗

zhongkaifu/tensorsharp のローカル GGUF 推論機能、提供されるインターフェース、対応範囲を紹介する。

GitHub の説明: A native .NET LLM inference engine and agent runtime for GGUF models. TensorSharp provides a console application, a web-based chatbot interface, iPhone App, and Ollama/OpenAI-compatible HTTP APIs for programmatic access. It supports Windows/MacOS/iOS/Linux with full GPU capability

スター
★ 643
フォーク
68
言語
C#
ライセンス
BSD-3-Clause
最新リリース
v2026.10.23
原文を見る ↗GitHub で見る ↗

zhongkaifu/tensorsharp の最新リリース表記は v2026.10.23 である。このリポジトリは GGUF モデルをローカルで実行する .NET 10 ベースの推論エンジンであり、エージェントランタイムでもある。コンソールアプリ、ウェブチャットインターフェース、iPhone アプリ、Ollama/OpenAI 互換の HTTP API を提供する。ただし、提示された資料にはこのバージョンで新しく変更された項目がなく、具体的なリリース変更点は確認できない。

このプロジェクトはモデルを実行する機能に加えて、テキストと推論、マルチモーダル処理、埋め込み、画像・動画生成、Agent Skills、コードツールに対応している。C# の CPU バックエンドに加えて CUDA・Metal・Vulkan バックエンドを持ち、TensorAgent アプリは iPhone・iPad・Mac・Windows で利用できる。疎注意は一部の注意力計算を省略する手法である。研究の概要では専用 CUDA カーネルが 64K prefill で 9.8 倍速いと述べているが、比較対象は示していない。リポジトリのライセンスは BSD-3-Clause で、機能とバックエンド対応はモデルによって異なる。

したがって、対応機能の広さと特定の性能主張は分けて読むべきである。README の要約は複数のインターフェースと作業種別を説明しているが、すべての機能がすべてのモデルで動作するとは述べていない。64K prefill の 9.8 倍も基準が示されておらず、他のエンジンとの性能比較として解釈することはできない。最新リリースの変更一覧も資料にないため、v2026.10.23 で何が追加・修正されたかを判断する根拠はない。