Devotd Github
新发现评测

rails/lemans v1.6.0 — Miniswen 提示缓存与 ruby_llm 2.1.1 的采用

Ruby 智能体基准测试框架 rails/lemans 于 2026-11-03 升级到 1.6.0,为 Miniswen 带来了 ruby_llm 2.1.1 以及大范围的提示缓存改动。

仓库信息rails/lemans ↗

Ruby 智能体基准测试框架 rails/lemans 于 2026-11-03 升级到 1.6.0,为 Miniswen 带来了 ruby_llm 2.1.1 以及大范围的提示缓存改动。

GitHub 项目说明: A Ruby harness for running agent benchmarks

星标
★ 82
复刻
5
语言
Ruby
许可证
MIT
查看原始来源 ↗在 GitHub 查看 ↗

rails/lemans 是一个用于运行智能体基准测试并收集结果的 Ruby 测试框架。同一个仓库中还包含一个名为 Miniswen 的独立模块,2026-11-03 的提交 'Bump 1.6.0' 同时提升了两个模块的版本文件,将版本从 1.5.2 统一提升到 1.6.0。改动仅涉及 3 个文件,新增 4 行、删除 2 行,CHANGELOG 中新增了一条日期为 2026-11-03 的 1.6.0 条目。

1.6.0 所包含的改动全部在 Miniswen 一侧。ruby_llm 被升级到 2.1.1,以使用内置缓存、结束原因(finish reasons)和推理重放(reasoning replay),同时原样保留了约 10 分钟的重试窗口、RUBYLLM_DEBUG 标志以及允许 JSON 3 的设置。随后,向 OpenRouter 的所有模型发送 prompt_cache_key,使会话即使不绑定特定的提供商顺序也能保持缓存;并为所有模型开启提示缓存,让像 Claude 这样需要缓存的模型(包括 Anthropic API)被缓存,而原本会自动缓存的模型则不受影响。

不过,这次提交留下的只有 CHANGELOG 条目和版本常量。以提交 335272ae006d02f0f6a5b4b51e707f99b79d10a8 为准,并没有给出性能数值、基准测试结果或许可证信息,因此无法推测缓存实际减少了多少,凭这份材料也无法确认分数变化。如果团队在挑选智能体测试框架时需要缓存的持久性和可观测性(调试标志、结束原因、推理重放),值得直接查看 1.6.0,但还不到依据性能改进来决定是否引入的阶段。