CURATED OPEN SOURCE INTELLIGENCE

推論・サービング

新着OCT 17

srkrz23/vramkit — 重みと KV キャッシュの二本立て VRAM 圧縮

srkrz23/vramkit は、無損失の重みコーデックと、K と V に異なる量子化軸を適用する KV キャッシュ圧縮を実装した Python リポジトリ。

新着OCT 17

l-forster/open-jet はローカルモデル向けのオフラインコーディングエージェントと Qwen3.8-27B 用の CUDA 推論エンジンを提供し、最新リリースは v0.5.0 です。

新着OCT 17

Strata を拡張した C++ エンジン Xolotl は複数の大規模モデルを OpenAI・Anthropic 互換サーバーで提供し、README は RTX 4090 での DeepSeek-V4.1-Flash 552B の decode 速度を 26.8 tok/s としている。

新着OCT 17

nandhakishorm/laya の v0.4.9 と、選択・採点・はい／いいえ判定を行うエンジンの対応範囲、および公開されている限界を確認する。

リリースOCT 17

niko1221/strata v0.1.45 は Qwen3.6-35B-A3B の画像入力と最大 8 件までの同時リクエストに対応し、性能上の利得は空き VRAM に応じて変わる。

新着OCT 17

alexsjones/llmfit v1.1.17 は、ハードウェアに合った言語モデルを提案し、実測ベンチマークを共有する Rust コマンドラインツールです。

新着OCT 16

antirez/ds4は、一部のモデルをMetal・CUDA・ROCm上で実行するCベースのローカル推論エンジンです。

新着OCT 16

magnitudedev/magnitude は、ハードウェアに合わせてカーネルをチューニングし、モデル推論に用いる Rust ベースのオープンソースエンジンです。

新着OCT 16

flashml-org/freetoken がエッジハードウェアで大規模な MoE モデルをサービングするために提供する機能と、そのパフォーマンス情報の限界を紹介する。

リリースOCT 16

Strata v0.1.44.1 は旧型 CPU での SIGILL エラー、ビルド問題、サーバーのクラッシュ時の再試行動作を修正した。

リリースOCT 16

ggml-org/llama.cpp の b11630 は、変更内容がコミットメッセージの水準でのみ説明されているデイリービルドの自動リリースである。