apple-aiml-research/ml-rsi-inference-bench 是面向改进大语言模型推理栈的编码智能体的长期基准。它是 apple-aiml-research 组织于 2026 年 10 月 16 日创建的仓库,实现语言为 Python,没有发布标签或版本标记。仓库星标数为 105。
该基准评估瞄准自我改进推理系统的编码智能体。智能体使用真实的 vLLM 或 SGLang 引擎和 GPU 来完成任务。任务把模型生命周期分为三个阶段:Day-0 Model Support 是新增模型支持,Inference Optimization 是运行中的优化,Bug Fix 是回归修复。评分取决于第一个阶段是否通过,以及其余两个任务的提速幅度,运行则通过 Pier 框架进行。也就是说,它衡量的不是模型本身,而是智能体应用到引擎上的改动所产生的效果。由于分数并非智能体的自述,而是由独立验证器直接构建并测量,因此在智能体评测设计方面值得参考。面向自我改进智能体的公开评测一直稀缺,以官方代码开放呈现的案例也很少见。
不过,不确定之处同样明显。目前还没有公开的结果数据,论文也仅处于计划阶段,因此这个基准究竟能带来什么样的改进,现在还难以判断。许可证也未确认,使用条件无从得知。想比较实测性能的人,等到结果公开后再看更妥当。