github.devotd.
新发现评测

ukgovernmentbeis/inspect_ai 0.3.282 — 大语言模型评估框架

Inspect 是由 UK AI Security Institute 打造的大语言模型评估框架,提供提示词设计、工具使用、多轮对话、模型评分等组件,以及预配置的评估合集。

仓库信息ukgovernmentbeis/inspect_ai ↗

Inspect 是由 UK AI Security Institute 打造的大语言模型评估框架,提供提示词设计、工具使用、多轮对话、模型评分等组件,以及预配置的评估合集。

GitHub 项目说明: Inspect: A framework for large language model evaluations

星标
★ 3.1K
复刻
832
语言
Python
许可证
MIT
最新版本
0.3.282
查看原始来源 ↗在 GitHub 查看 ↗

ukgovernmentbeis/inspect_ai 是一个用于大语言模型评估的框架。记录到的最新发布版本是 0.3.282。不过所提供的资料中没有该版本的发布说明条目,因此无法确认具体有哪些改动。该仓库创建于 2023 年 11 月 14 日,主要语言为 Python,许可证为 MIT,GitHub 星标数为 3050。

README 指出 Inspect 是 UK AI Security Institute 打造的大语言模型评估框架。评估框架是指用代码定义好待评估的问题和评分标准的框架。该项目提供用于提示词工程、工具使用、多轮对话和模型评分(model grading)的组件。模型评分是按照既定标准评估模型回答并整理为分数的功能。它可以用其他 Python 包扩展,也收录了可在任意模型上运行的预配置评估合集。

不过依据仅限于仓库描述和 README 自身所声明的内容。仓库描述只有一句「用于大语言模型评估的框架」,并未给出比较评估准确度或运行性能的基准测试。在整理出的评估分数中,新颖性(Novelty)、技术(Technical)、质量(Quality)三项没有数值,只有 Momentum 一项记为 3.6。现在更值得期待的,是能够自己编写评估代码并运行起来,而不是某种特定的性能优势。