allenai/olmo-core 的最新发布版本是 v3.0.0。该仓库以 Python 库的形式,为 OLMo 模型家族提供 PyTorch 构建模块(building blocks),也就是建模与训练所需的可复用部件。README 介绍了公开模型的官方预训练(pre-training)脚本,以及利用 Hugging Face Transformers 对检查点进行推理的方法。可以从源码或 PyPI 安装。
这个仓库的核心并不是单个模型,而是把训练流水线拆分成多个部件并予以公开。若要重新训练公开的语言模型,或从检查点进行推理,就必须决定模型结构与训练步骤如何组合以及按什么顺序组合,而这个库已把这部分整理成按部件划分的代码。许可证为 Apache-2.0,主要语言是 Python,GitHub 星标数为 1727。该仓库创建于 2024 年 3 月 23 日。
不过,收集到的资料中没有 v3.0.0 的变更记录,因此本次发布究竟改动了什么无法确认。技术、质量与新颖性评分均为空,只有动量(momentum)评分为 10 分制下的 2.2 分。所以目前能判断的,只是公开的训练与推理代码可以原样借用使用。至于 v3.0.0 改进了什么,需要直接查看发布说明才能知道。