Devotd Github
新着LLMインフラ

athrael-soju/narwhal 0.8.0 — オペレータ可視性と prefill 回収機能

role-free フリートで LLM 推論を prefill と decode に分けて処理する Python プロジェクト athrael-soju/narwhal が 0.8.0 をリリースした。

リポジトリ情報athrael-soju/narwhal ↗

role-free フリートで LLM 推論を prefill と decode に分けて処理する Python プロジェクト athrael-soju/narwhal が 0.8.0 をリリースした。

GitHub の説明: Adaptive Disaggregated Inference on a Role-free Fleet!

スター
★ 8
フォーク
2
言語
Python
ライセンス
Apache-2.0
最新リリース
v0.7.0
原文を見る ↗GitHub で見る ↗

athrael-soju/narwhal が 0.8.0 をリリースした。このリポジトリは、各枠に役割を事前に固定しない状態、すなわち role-free フリートにおいて、LLM 推論を prefill(事前計算)と decode(トークン生成)に分けて処理する Python プロジェクトである。リリースコミット d92e809 は 2026-10-27T21:21:57Z に記録されており、CHANGELOG に残された 0.8.0 項目の日付は 2026-10-20 である。

今回のバージョンで追加された機能は三つである。オペレータ可視性とセットアップ(operator visibility and setup、#384)が追加され、まだ有効な較正値(calibration)とプロファイルをそのまま再利用する機能(#373)が組み込まれた。さらに、負荷急増(load surge)の際に prefill 容量を再確保し、decode 圧力と配置問題を修正する修正(#364)が含まれている。

パッケージングでは、特性化テストのゴールデンレコード(characterization golden records)とドキュメントワークフローをいずれも sdist 配布物に含めるよう修正され(#371、#369)、段階ごとのテスト時間予算も引き上げられた。バージョン表記は .release-please-manifest.json、CITATION.cff、pyproject.toml のいずれも 0.7.0 から 0.8.0 に更新された。配布名は narwhal-inference、ライセンスは Apache-2.0 である。

ただし、このコミット自体はバージョン表記の更新と CHANGELOG 項目の追加のみで、変更内容は 18 行の追加と 3 行の削除にとどまる。性能数値やベンチマーク結果は含まれていないため、0.8.0 がどの規模で有多大な利点をもたらすかは、このコミットだけでは知ることができない。オペレータ画面と設定が実際の運用フローに合うかどうかは、配布物をインストールして確認する必要がある。