rockmatrix-ai/edgerock は、長い推論でキー値キャッシュが大きくなり、アクセラレータのメモリを圧迫して同時サービングを制限する問題を狙ったマルチモーダルモデル研究リポジトリです。EdgeRock-4B モデルと推論・評価コードを公開しており、現在登録されているリリースはありません。Python 製で、ライセンスは Apache-2.0 です。
EdgeRock-4B は Qwen3.5-4B を基盤に、全注意 8 層を置き換え、24 層の循環層とフィードフォワードはそのまま残しています。循環状態が文脈を要約し、スライディングウィンドウの自己注意が直近のトークンを扱い、Rock Memory Anchors が選んだ長距離情報を固定容量のバンクに保存して検索する構成です。リポジトリはシーケンスあたり 72 MiB の注意キー値と 121.76 MiB の永続履歴を示しています。また 256K コンテキストで BF16 の注意キー値は Qwen3.5-4B 比 99.1%小さく、AIME 2024~2026 の平均通過率は 82.9% だと報告しています。6 つの視覚推論ベンチマークの平均は 84.9% で、比較対象として挙げられた Qwen3.5-4B は 95.3% です。実行コードは runtime ディレクトリにあり、文書にはカスタム wheel のインストールとデモ実行の手順が記載されています。
この数値の根拠として、リポジトリは技術レポートと arXiv 2610.10118 を示しますが、数値はすべてリポジトリ自身の記述です。コミットは 19 件、フォークは 0 件で、テストも再現用の評価ハーネスもありません。したがって公開されている構造とコードは確認できますが、性能に関する主張は独立検証が得られるまで判断を留保すべきです。