新着
ollama/ollama v0.40.5 — ローカル／クラウドのモデルランタイム
ollama/ollama はオープンモデルをローカルまたはクラウドで実行し、各種ツールと接続するランタイムサーバーだ。
CURATED OPEN SOURCE INTELLIGENCE
#inference
新着
surya-koritala/glyd — bf16 重み・KV キャッシュの无损圧縮
surya-koritala/glyd の无损 GPU メモリ圧縮方式と、README に掲載された実測結果を確認する。
新着
fesens/opentpu — AI エージェントが設計したオープンソース AI アクセラレーター
fesens/opentpu は AI エージェントが設計したオープンソース AI アクセラレーターで、ハードウェアからコンパイラまでをひとつのリポジトリにまとめ、Kintex-7 カードでの実行結果を示しています。
新着
srkrz23/vramkit — 重みと KV キャッシュの二本立て VRAM 圧縮
srkrz23/vramkit は、無損失の重みコーデックと、K と V に異なる量子化軸を適用する KV キャッシュ圧縮を実装した Python リポジトリ。
新着
l-forster/open-jet v0.5.0 — オフラインエージェントと CUDA 推論エンジン
l-forster/open-jet はローカルモデル向けのオフラインコーディングエージェントと Qwen3.8-27B 用の CUDA 推論エンジンを提供し、最新リリースは v0.5.0 です。
新着
indras-mirror/xolotl — 単一 GPU 向けの大規模 MoE 推論エンジン
Strata を拡張した C++ エンジン Xolotl は複数の大規模モデルを OpenAI・Anthropic 互換サーバーで提供し、README は RTX 4090 での DeepSeek-V4.1-Flash 552B の decode 速度を 26.8 tok/s としている。
新着
nandhakishorm/laya v0.4.9 — 非自己回帰型意思決定エンジン
nandhakishorm/laya の v0.4.9 と、選択・採点・はい／いいえ判定を行うエンジンの対応範囲、および公開されている限界を確認する。
リリース
niko1221/strata v0.1.45 — Qwen3.6 の画像入力と同時リクエスト
niko1221/strata v0.1.45 は Qwen3.6-35B-A3B の画像入力と最大 8 件までの同時リクエストに対応し、性能上の利得は空き VRAM に応じて変わる。
新着
alexsjones/llmfit v1.1.17 — ハードウェア別のモデル推奨
alexsjones/llmfit v1.1.17 は、ハードウェアに合った言語モデルを提案し、実測ベンチマークを共有する Rust コマンドラインツールです。
新着
nvidia/nemoclaw — OpenShell サンドボックス向けコーディングエージェント構成
nvidia/nemoclaw は、Hermes、LangChain Deep Agents、OpenClaw などのコーディングエージェントを NVIDIA OpenShell サンドボックス上でマネージド推論とともに実行するためのリファレンススタックです。
リリース
ggml-org/llama.cpp b11700 — Granite Switch decision 変換器の追加
llama.cpp b11700 は Granite Switch 系モデルの decision 変換とサポート経路を追加した。
リリース
ggml-org/llama.cpp b11683 — Vulkan ホストメモリのインポート修正
llama.cpp nightly b11683 は、Vulkan バックエンドのホストメモリのインポート失敗ログと AMD のバッファ共有経路を修正したビルドである。
新着
antirez/ds4 — Metal・CUDA・ROCm向けのローカル推論エンジン
antirez/ds4は、一部のモデルをMetal・CUDA・ROCm上で実行するCベースのローカル推論エンジンです。
新着
magnitudedev/magnitude — ハードウェアに合わせたローカル推論エンジン
magnitudedev/magnitude は、ハードウェアに合わせてカーネルをチューニングし、モデル推論に用いる Rust ベースのオープンソースエンジンです。
新着
zihan-su/self_gradient_forcing_plus — SGF+ 動画生成
自己回帰的な動画生成でコンテキスト履歴とデノイジングのパラメータを分離し、5 秒の学習ウィンドウから最大 24 時間分のロールアウトを生成するという SGF+ リポジトリ。
新着
flashml-org/freetoken v0.1.3 — デスクトップ向け MoE サービングエンジン
flashml-org/freetoken がエッジハードウェアで大規模な MoE モデルをサービングするために提供する機能と、そのパフォーマンス情報の限界を紹介する。
リリース
Niko1221/Strata v0.1.44.1 — 旧型 CPU 向け SIGILL ホットフィックス
Strata v0.1.44.1 は旧型 CPU での SIGILL エラー、ビルド問題、サーバーのクラッシュ時の再試行動作を修正した。
リリース
ggml-org/llama.cpp b11630 — デイリービルドの自動リリース
ggml-org/llama.cpp の b11630 は、変更内容がコミットメッセージの水準でのみ説明されているデイリービルドの自動リリースである。
該当するニュースはありません。