github.devotd.
新发现评测

apple-aiml-research/ml-rsi-inference-bench — 自我改进推理基准

apple-aiml-research/ml-rsi-inference-bench 是一个长期基准,用于评估借助 vLLM 或 SGLang 引擎改进真实推理栈的编码智能体,并按通过率与速度提升打分。

仓库信息apple-aiml-research/ml-rsi-inference-bench ↗

apple-aiml-research/ml-rsi-inference-bench 是一个长期基准,用于评估借助 vLLM 或 SGLang 引擎改进真实推理栈的编码智能体,并按通过率与速度提升打分。

GitHub 项目说明: A Long-Horizon Benchmark for Self-Improving Inference Systems

星标
★ 106
复刻
4
语言
Python
许可证
NOASSERTION
查看原始来源 ↗在 GitHub 查看 ↗

apple-aiml-research/ml-rsi-inference-bench 是面向改进大语言模型推理栈的编码智能体的长期基准。它是 apple-aiml-research 组织于 2026 年 10 月 16 日创建的仓库,实现语言为 Python,没有发布标签或版本标记。仓库星标数为 105。

该基准评估瞄准自我改进推理系统的编码智能体。智能体使用真实的 vLLM 或 SGLang 引擎和 GPU 来完成任务。任务把模型生命周期分为三个阶段:Day-0 Model Support 是新增模型支持,Inference Optimization 是运行中的优化,Bug Fix 是回归修复。评分取决于第一个阶段是否通过,以及其余两个任务的提速幅度,运行则通过 Pier 框架进行。也就是说,它衡量的不是模型本身,而是智能体应用到引擎上的改动所产生的效果。由于分数并非智能体的自述,而是由独立验证器直接构建并测量,因此在智能体评测设计方面值得参考。面向自我改进智能体的公开评测一直稀缺,以官方代码开放呈现的案例也很少见。

不过,不确定之处同样明显。目前还没有公开的结果数据,论文也仅处于计划阶段,因此这个基准究竟能带来什么样的改进,现在还难以判断。许可证也未确认,使用条件无从得知。想比较实测性能的人,等到结果公开后再看更妥当。