open-compass/opencompass 0.5.4 — 100 多个数据集上的 LLM 评测 OpenCompass 是一个 Apache-2.0 许可的 LLM 评测平台，在同一个工作流中用 100 多个数据集评测并比较多家提供商的模型，最新版本是 0.5.4。
2026年10月21日
仓库信息 open-compass/opencompass ↗ OpenCompass 是一个 Apache-2.0 许可的 LLM 评测平台，在同一个工作流中用 100 多个数据集评测并比较多家提供商的模型，最新版本是 0.5.4。
GitHub 项目说明 : OpenCompass is an LLM evaluation platform, supporting a wide range of models from OpenAI, Anthropic, Gemini, Qwen, GLM, DeepSeek, etc, across 100+ datasets covering knowledge, reasoning, coding, science, language, long-context, and safety.
星标 ★ 7.5K
复刻 906
语言 Python
许可证 Apache-2.0
最新版本 0.5.4 open-compass/opencompass 是一个在同一标准下比较和衡量大语言模型（LLM）性能的评价平台。其 README 将它描述为一体化工具：支持多种模型与推理后端，并把数据集与模型配置、推理、评估直到结果汇总整合为一条工作流。该仓库的最新版本是 0.5.4，所提供的资料没有列出该版本包含的变更。
这个项目的中心是以统一体系执行模型与数据集配置、评估和结果聚合。它用 100 多个数据集评测 OpenAI、Anthropic、Gemini、Qwen、GLM、DeepSeek 等多家提供商的模型，覆盖的领域是知识、推理、代码、科学、语言、长上下文和安全。实现语言是 Python，许可证是 Apache-2.0。仓库创建于 2023 年 6 月 15 日，累计获得 7,530 个 star，README 说明该工具在设计上追求开放、可复现和可扩展。
不过，仅凭最新版本是 0.5.4 这一事实，仍无法知道本次版本究竟改变了什么。评测记录中的评分项里，只有动量（momentum）一项给出了数值，满分 10 分中仅 1.6 分，而新颖性、技术与质量各项都没有给出数值。评测结果的可靠性需要直接查看数据集构成和执行流程才能判断，目前把它当作在同一条件下横向比较多个模型的工具是比较现实的做法。