github.devotd.
新发现多模态

rockmatrix-ai/edgerock — 常数内存多模态推理研究

针对长推理中不断膨胀的键值缓存问题,公开推理与评估代码以及 EdgeRock-4B 模型的研究仓库。

仓库信息rockmatrix-ai/edgerock ↗

EdgeRock: Strong Reasoning at Constant Memory. Multimodal models with O(N) generation and O(1) persistent history. Inference and evaluation code.

星标
★ 443
复刻
0
语言
Python
许可证
Apache-2.0
查看原始来源 ↗在 GitHub 查看 ↗

rockmatrix-ai/edgerock 是一个多模态模型研究仓库,针对长推理中键值缓存不断增大、占用加速器内存并限制并发服务的问题。该仓库公开了 EdgeRock-4B 模型以及推理与评估代码,目前没有已登记的发布版本。代码以 Python 编写,采用 Apache-2.0 许可证。

EdgeRock-4B 以 Qwen3.5-4B 为基础,将全部注意力层(共 8 层)转换,同时保留 24 个循环层与前馈层。其循环状态负责概括上下文,滑动窗口注意力处理最近的 token,Rock Memory Anchors 则把选定的长程信息存入固定容量的记忆库以供查询。仓库给出的数据是每序列 72 MiB 的注意力键值和 121.76 MiB 的持久历史。它还报告称,在 256K 上下文下 BF16 注意力键值比 Qwen3.5-4B 小 99.1%,AIME 2024~2026 平均通过率为 82.9%。六项视觉推理基准的平均值为 84.9%,而作为对比的 Qwen3.5-4B 为 95.3%。可运行代码位于 runtime 目录,文档中包含自定义 wheel 的安装与演示运行步骤。

作为这些数字的依据,仓库给出了技术报告和 arXiv 2610.10118,但所有数字都只是仓库自身的表述。仓库有 19 次提交、0 次派生,也没有测试和用于复现的评估框架。因此公开的结构和代码可以考察,但在独立验证之前,性能主张应保留判断。