Devotd Github
リリース評価

ukgovernmentbeis/inspect_ai 0.3.282 — 並列エージェントのツール状態を分離

大規模言語モデル評価フレームワーク Inspect AI 0.3.282 には、同じサンプルで並列実行されるエージェントごとにツール状態を分離する変更が含まれる。

リポジトリ情報ukgovernmentbeis/inspect_ai ↗

大規模言語モデル評価フレームワーク Inspect AI 0.3.282 には、同じサンプルで並列実行されるエージェントごとにツール状態を分離する変更が含まれる。

GitHub の説明: Inspect: A framework for large language model evaluations

スター
★ 3.1K
フォーク
841
言語
Python
ライセンス
MIT
最新リリース
0.3.282
原文を見る ↗GitHub で見る ↗

Inspect AI(ukgovernmentbeis/inspect_ai)は大規模言語モデルのための評価フレームワークだ。GitHub の 0.3.282 タグに掲載されたリリースノートによると、このバージョンは 2026 年 10 月 19 日(UTC)にリリースされ、同じサンプルで並列実行されるエージェントごとにツール(tool)状態を分離する変更を含んでいる。

評価とは、モデルに課題を与え、その結果を基準と突き合わせて質を測る手続きである。評価フレームワークは、その課題と採点基準をコードで定義し、モデルを繰り返し実行して結果を比較するツールだ。Inspect AI は GitHub で公開されているリポジトリで、表示されているスター数は 3057 である。今回の変更が狙ったのは、複数のエージェントを同じサンプルに並列で組み込む評価方式である。エージェントごとにツール状態を分けると、一つのエージェントのツール利用履歴が他のエージェントと混ざらない。同じリリースには、シャーディング実行(sharded execution、作業を複数の塊に分けて処理する実行)の条件付き保存とロック補助機能、およびキャンセルされた評価とツール呼び出し・使用量(usage)の集計に関する修正も含まれている。

ただし、このリリースの説明には性能指標も採点結果の比較もない。ツール状態の分離が既存の評価結果を変えるのか、シャーディング実行の条件付き保存とロック補助機能がどのような条件で動作するのかについては説明されていない。並列の複数エージェント評価に直接影響する変更だが、単一エージェントの評価結果に与える影響は、このリリースの説明だけでは判断できない。

リリース

langfuse/langfuse v4.67.0 — インストール・インポートの簡略化、API キーフィルターの追加

langfuse/langfuse のリリース 4.67.0 はインストールとインポートの手順を簡略化し、組織 API キーリストに名前検索とゲートウェイキーフィルターを追加し、Slack マーケットプレイスのレビュー画面におけるリンクボタンと非公開チャンネルの露出問題を修正した。