hardenedlinux/sonicboom은 C++와 CUDA로 처음부터 만든 네이티브 텐서 런타임이다. 저장소 README는 현재 상태를 v0.0.2로 밝힌다. 파이썬 없이 공유 라이브러리와 안정된 C ABI로 기능을 노출하고, GNU Guile을 첫 번째 언어 바인딩으로 둔다.
이 런타임은 모델 추론을 위한 계산 단계를 계획하고 실행한다. README에 따르면 디코딩은 CUDA Graph 재생으로 처리하고, KV 캐시는 GPU 장치에 둔다. 플래너는 정규화·활성화·양자화를 융합하며, 양자화 행렬곱에는 ggml 커널을 사용한다. README는 코어 규모를 C++와 CUDA 17.7k줄로 설명한다. 같은 저장소에는 PyTorch의 코드 생성기 torchgen을 Guile로 다시 작성한 SonicCross도 있다. README의 RTX 3050 8GB 비교는 llama.cpp 커밋 43fe9c64281과 같은 GGUF 및 세션을 사용해 3회 측정의 중간값을 제시한다. Gemma 4 E4B-it Q3_K_M 디코드는 52.7 대 44.8 tok/s(1.18배), Qwen2.5-0.5B-Instruct Q4_K_M은 344.7 대 307.9 tok/s(1.12배)였다.
같은 비교에서 프리필은 각각 0.84배와 0.91배로 llama.cpp보다 느렸다. 검증 범위는 CUDA sm_86과 두 모델 계열에 한정된다. 프리픽스 캐시 재사용 정확성은 속도 벤치마크가 아니라 test_prefix_cache 테스트(12/12)로 확인했다고 README는 구분한다. 따라서 디코드 수치는 제한된 환경의 비교 결과이며, 이 자료만으로 다른 GPU나 모델에서도 우위가 있다고 볼 수는 없다.