prabanta-dev/janas는 순수 C로 쓴 추론 엔진으로, 메모리보다 큰 LLM을 CPU나 GPU에서 돌리는 것을 목표로 한다. 이 저장소의 최신 커밋 f085859(2026-10-27, 제목 'Release 2026-10-27 (4)')는 코드 짜김이 아니라 문서 세 개만 바꾼 커밋이다. README.md와 배포본용 dist/README.md, dist/README-windows.md에서 19줄을 추가하고 19줄을 지웠다. 바뀐 내용은 긴 컨텍스트 비교표다. 키와 값을 8비트로 담는 캐시(KV cache)를 양쪽 모두 q8_0으로 맞춰 llama.cpp를 다시 측정했다. 8,192 토큰에서 Janas-LLM은 답을 18.2 tok/s로 쓰고 프롬프트를 74 tok/s로 읽었으며, llama.cpp는 각각 4.9 tok/s와 20 tok/s였다.
이 변경의 요지는 비교 조건을 맞춘 것이다. 이전 표에서는 Janas-LLM만 8비트 캐시를 쓰고 llama.cpp는 기본값인 16비트를 썼다. 이번에는 llama.cpp에도 -ctk q8_0 -ctv q8_0을 주고, q8_0 캐시 값에 필요한 flash attention(-fa 1)을 켜서 재측정했다. 조건이 같아지자 격차는 줄었지만 사라지지는 않았다. 1,024 토큰에서 쓰기는 27.6 대 12.1 tok/s로 2.3배, 8,192 토큰에서는 18.2 대 4.9 tok/s로 3.7배다. 16,384 토큰에서는 llama.cpp가 30분 안에 프롬프트를 끝내 읽지 못해 쓰기 수치를 내지 못하고, 읽기도 9.1 tok/s 미만으로만 표시됐다. 32,000 토큰은 Janas-LLM만 측정됐다(읽기 35 tok/s, 쓰기 10.7 tok/s). llama.cpp의 16비트 기본값 결과는 따로 남겨 뒀다. 1,024~16,384 토큰에서 읽기 67·55·44·31 tok/s, 쓰기 12.5·7.7·4.6·2.2 tok/s다.
다만 근거는 좁다. 두 엔진 모두 CPU만 쓰고(12 스레드), 같은 Qwen3-4B Q4_K_M 파일과 같은 토큰(영어 위키백과 문서, C 소스, 이탈리아어 산문)을 썼지만, 측정은 매번 한 번씩 돌렸고 실행마다 30분 상한이 있었다. 16,384 토큰의 llama.cpp 쓰기와 32,000 토큰 비교는 상한 때문에 비었다. Intel NPU와 GPU, Gemma 4, janas-nsm를 설명하는 문단과 도구는 이번 패치에서 손대지 않았다. 엔진 코드가 아니라 수치 문서만 바뀐 커밋이므로, 이 자체가 실행 성능 개선을 뜻하지는 않는다. 한 노트북의 한 모델, 한 번의 측정에서 나온 기록으로 읽는 것이 맞다.