github.devotd.
新着評価

intel/dokimi — コーディングエージェント成果物の効果測定

intel/dokimi は、スキルやドキュメントなどのエージェント成果物がモデルに実際に効くかどうかを、ペア比較で測定する Python フレームワークである。

リポジトリ情報intel/dokimi ↗

Dokimi (Greek δοκιμή, "test, proof") measures whether a skill, MCP doc source, agent profile or repository guidance actually helps a coding agent: paired on/off arm comparisons, novel-vs-known content analysis, and repository scans with graded agent runs.

スター
★ 7
フォーク
6
言語
Python
ライセンス
Apache-2.0
原文を見る ↗GitHub で見る ↗

intel/dokimi は、コーディングエージェントに渡すスキルや MCP ドキュメントソース、エージェントプロフィール、リポジトリ指示といった成果物が実際に有益かどうかを測定する Python フレームワークである。リポジトリの説明によれば、オン条件とオフ条件の比較、新規コンテンツと既知コンテンツの解析、採点付きのエージェント実行によるリポジトリの精査を行う。ペア比較では 1 要素だけを変更して他を固定し、同一の問題集合を実行する。結果として、ベースラインからの変化量と有意水準を併せて提示する。

このツールの焦点は成果物の人気度ではなく測定結果である。README は結果をスコアカードとして公開する方式と、人気度ランキング型のマーケットを対比している。モデルは LiteLLM 経由で接続できるものをそのまま使うため、特定のベンダーに限定されない。統計コードは二項統計と順位相関解析のモジュールに分かれており、それぞれ対応するテストファイルがある。Intel の著作権表示と Apache-2.0 ライセンスが確認できる。

ただし、このリポジトリは 2026-10-08 に作成され、スターは 6 件で、リリースは存在しない。コードとテストファイルは計算実装を確認できる根拠になるが、測定設計の妥当性まで証明するものではない。外部ツールと比較したベンチマークも示されていない。したがって、エージェント性能を判定する基準として結論を急ぐより、成果物の効果を比較しようとする評価設計を眺めるのに向いている。