rockmatrix-ai/edgerock는 긴 추론에서 키값 캐시가 커져 가속기 메모리를 차지하고 동시 서빙을 제한하는 문제를 겨냥한 멀티모달 모델 연구 저장소다. EdgeRock-4B 모델과 추론·평가 코드를 공개했으며, 현재 등록된 릴리스는 없다. Python으로 작성됐고 Apache-2.0 라이선스를 사용한다.
EdgeRock-4B는 Qwen3.5-4B를 바탕으로 전체 어텐션 8개 층을 변환하고 순환 층 24개와 피드포워드는 유지했다. 순환 상태가 문맥을 요약하고 슬라이딩 윈도 어텐션이 최근 토큰을 다루며, Rock Memory Anchors가 선택된 원거리 정보를 고정 용량 뱅크에 저장해 조회하는 구조다. 저장소는 시퀀스당 어텐션 키값 72 MiB와 영속 히스토리 121.76 MiB를 제시한다. 또한 256K 컨텍스트에서 Qwen3.5-4B 대비 BF16 어텐션 키값이 99.1% 작고, AIME 2024~2026 평균 통과율이 82.9%라고 보고한다. 여섯 개 시각 추론 벤치마크 평균은 84.9%이며, 비교 대상으로 제시한 Qwen3.5-4B의 수치는 95.3%다. 실행 코드는 runtime 디렉터리에 있고 문서에는 커스텀 휠 설치와 데모 실행 절차가 담겨 있다.
이 수치의 근거로 저장소는 기술 보고서와 arXiv 2610.10118을 제시하지만, 수치는 모두 저장소 자체의 서술이다. 커밋은 19개이고 포크는 0개이며, 테스트와 재현용 평가 하네스는 없다. 따라서 공개된 구조와 코드는 살펴볼 수 있지만 성능 주장은 독립 검증 전까지 판단을 유보해야 한다.