rockmatrix-ai/edgerock 是一个多模态模型研究仓库,针对长推理中键值缓存不断增大、占用加速器内存并限制并发服务的问题。该仓库公开了 EdgeRock-4B 模型以及推理与评估代码,目前没有已登记的发布版本。代码以 Python 编写,采用 Apache-2.0 许可证。
EdgeRock-4B 以 Qwen3.5-4B 为基础,将全部注意力层(共 8 层)转换,同时保留 24 个循环层与前馈层。其循环状态负责概括上下文,滑动窗口注意力处理最近的 token,Rock Memory Anchors 则把选定的长程信息存入固定容量的记忆库以供查询。仓库给出的数据是每序列 72 MiB 的注意力键值和 121.76 MiB 的持久历史。它还报告称,在 256K 上下文下 BF16 注意力键值比 Qwen3.5-4B 小 99.1%,AIME 2024~2026 平均通过率为 82.9%。六项视觉推理基准的平均值为 84.9%,而作为对比的 Qwen3.5-4B 为 95.3%。可运行代码位于 runtime 目录,文档中包含自定义 wheel 的安装与演示运行步骤。
作为这些数字的依据,仓库给出了技术报告和 arXiv 2610.10118,但所有数字都只是仓库自身的表述。仓库有 19 次提交、0 次派生,也没有测试和用于复现的评估框架。因此公开的结构和代码可以考察,但在独立验证之前,性能主张应保留判断。