新着
ollama/ollama v0.40.5 — ローカル／クラウドのモデルランタイム
ollama/ollama はオープンモデルをローカルまたはクラウドで実行し、各種ツールと接続するランタイムサーバーだ。
CURATED OPEN SOURCE INTELLIGENCE
推論・サービング
新着
srkrz23/vramkit — 重みと KV キャッシュの二本立て VRAM 圧縮
srkrz23/vramkit は、無損失の重みコーデックと、K と V に異なる量子化軸を適用する KV キャッシュ圧縮を実装した Python リポジトリ。
新着
l-forster/open-jet v0.5.0 — オフラインエージェントと CUDA 推論エンジン
l-forster/open-jet はローカルモデル向けのオフラインコーディングエージェントと Qwen3.8-27B 用の CUDA 推論エンジンを提供し、最新リリースは v0.5.0 です。
新着
indras-mirror/xolotl — 単一 GPU 向けの大規模 MoE 推論エンジン
Strata を拡張した C++ エンジン Xolotl は複数の大規模モデルを OpenAI・Anthropic 互換サーバーで提供し、README は RTX 4090 での DeepSeek-V4.1-Flash 552B の decode 速度を 26.8 tok/s としている。
新着
nandhakishorm/laya v0.4.9 — 非自己回帰型意思決定エンジン
nandhakishorm/laya の v0.4.9 と、選択・採点・はい／いいえ判定を行うエンジンの対応範囲、および公開されている限界を確認する。
リリース
niko1221/strata v0.1.45 — Qwen3.6 の画像入力と同時リクエスト
niko1221/strata v0.1.45 は Qwen3.6-35B-A3B の画像入力と最大 8 件までの同時リクエストに対応し、性能上の利得は空き VRAM に応じて変わる。
新着
alexsjones/llmfit v1.1.17 — ハードウェア別のモデル推奨
alexsjones/llmfit v1.1.17 は、ハードウェアに合った言語モデルを提案し、実測ベンチマークを共有する Rust コマンドラインツールです。
新着
antirez/ds4 — Metal・CUDA・ROCm向けのローカル推論エンジン
antirez/ds4は、一部のモデルをMetal・CUDA・ROCm上で実行するCベースのローカル推論エンジンです。
新着
magnitudedev/magnitude — ハードウェアに合わせたローカル推論エンジン
magnitudedev/magnitude は、ハードウェアに合わせてカーネルをチューニングし、モデル推論に用いる Rust ベースのオープンソースエンジンです。
新着
flashml-org/freetoken v0.1.3 — デスクトップ向け MoE サービングエンジン
flashml-org/freetoken がエッジハードウェアで大規模な MoE モデルをサービングするために提供する機能と、そのパフォーマンス情報の限界を紹介する。
リリース
Niko1221/Strata v0.1.44.1 — 旧型 CPU 向け SIGILL ホットフィックス
Strata v0.1.44.1 は旧型 CPU での SIGILL エラー、ビルド問題、サーバーのクラッシュ時の再試行動作を修正した。
リリース
ggml-org/llama.cpp b11630 — デイリービルドの自動リリース
ggml-org/llama.cpp の b11630 は、変更内容がコミットメッセージの水準でのみ説明されているデイリービルドの自動リリースである。
該当するニュースはありません。