github.devotd.
新发现评测

intel/dokimi — 测量编码代理产物的效果

intel/dokimi 是一个 Python 框架,用成对比较来测量技能、文档等代理产物是否真的对模型有帮助。

仓库信息intel/dokimi ↗

Dokimi (Greek δοκιμή, "test, proof") measures whether a skill, MCP doc source, agent profile or repository guidance actually helps a coding agent: paired on/off arm comparisons, novel-vs-known content analysis, and repository scans with graded agent runs.

星标
★ 7
复刻
6
语言
Python
许可证
Apache-2.0
查看原始来源 ↗在 GitHub 查看 ↗

intel/dokimi 是一个 Python 框架,用于测量提供给编码代理的产物——技能、MCP 文档源、代理配置或仓库指引——是否真的有帮助。据仓库说明,它会比较开启与关闭条件、分析新内容与已知内容,并通过带评分的代理运行来检视仓库。在成对比较中,它只改变一个要素、其余保持不变,运行同一组题项。结果会同时给出相对基线的变化量和显著性水平。

该工具的重点不是产物的热度,而是测量结果。README 将以评分表公开结果的方式与按热度排名的市场形态作对比。它使用可通过 LiteLLM 连接的模型,不限定于特定厂商。统计代码分为二项统计与秩相关分析两个模块,各自配有对应的测试文件。可以看到 Intel 版权声明和 Apache-2.0 许可证。

不过,该仓库创建于 2026-10-08,星标数为 6,且没有发布版本。代码和测试文件可以作为核查计算实现的依据,但并不能证明测量设计的有效性。也没有给出与其他工具对比的基准测试。因此,与其把它当作判定代理性能的标准,不如说它更适合用来考察一种试图比较产物效果的评价设计。