blockwayz/agens-engine은 Agens Volundr 모델을 소비자용 그래픽카드 한 장에서 실행해 OpenAI 호환 채팅 API로 제공하는 C++ 추론 엔진이다. 저장소는 2026년 10월 17일 만들어졌고 공개 릴리스는 없다. 지금 확인할 수 있는 범위는 저장소 설명과 README에 적힌 기능과 실행 프로필까지다.
이 엔진이 노리는 것은 GPU 메모리 예산 안에서 가중치와 긴 문맥 캐시를 함께 계획하는 것이다. 각 선형 층의 가중치를 2비트, 3비트, 4비트로 저장하는 계층별 혼합 정밀도를 쓰고, 생성된 토큰의 키·값을 담는 KV 캐시는 호스트 메모리로 뺀다. 보조 초안 모델과 MTP 헤드를 쓰는 추측 디코딩(초안 토큰을 먼저 뽑아 한 번에 검증하는 방식), 여러 그래픽카드에 모델을 나눠 놓는 실행, 이미지 입력도 지원한다. API는 OpenAI 호환이다. 16GB 프로필은 최대 262K 토큰의 문맥을 요청하지만 실제 수용량은 GPU 메모리와 KV 풀에 따라 달라지며, 메모리 예산을 넘으면 실행을 중단하도록 설계됐다. README에는 그래픽카드 메모리별 실행 프로필과 제한 사항이 함께 적혀 있다.
다만 서버와 CUDA 커널, 패리티 시험은 확인되지만 공개 성능 주장은 재현 자료를 따로 확인해야 한다. 라이선스는 NOASSERTION으로 표시돼 이용 조건이 분명하지 않다. 스타는 7개, 10점 만점 기준 새로움 8.0, 기술 8.0, 품질 7.0, 모멘텀 1.8이다. 설계는 구체적이지만 성능 근거는 얇다. 모멘텀 점수가 낮고 저장소도 새로 만들어진 상태여서, Agens Volundr를 소비자용 GPU에서 직접 실행하려는 쪽에 지금 확인할 가치가 있는 프로젝트에 가깝다.