hardenedlinux/sonicboom 是一个用 C++ 和 CUDA 从零构建的原生张量运行时。仓库 README 将当前状态标注为 v0.0.2。它不依赖 Python，通过共享库和稳定的 C ABI 暴露功能，并以 GNU Guile 作为第一个语言绑定。
该运行时负责规划和执行模型推理所需的计算阶段。据 README 所述，解码通过 CUDA Graph 重放处理，KV 缓存存放在 GPU 设备上。规划器融合归一化、激活与量化，量化矩阵乘法使用 ggml 内核。README 将核心规模描述为 17.7k 行 C++ 与 CUDA 代码。同一仓库还包含 SonicCross，即用 Guile 重新编写的 PyTorch 代码生成器 torchgen。README 中基于 RTX 3050 8GB 的对比，使用与 llama.cpp 提交 43fe9c64281 相同的 GGUF 和会话，给出了 3 次测量的中位数。Gemma 4 E4B-it Q3_K_M 解码为 52.7 对 44.8 tok/s（1.18 倍），Qwen2.5-0.5B-Instruct Q4_K_M 为 344.7 对 307.9 tok/s（1.12 倍）。
在同一对比中，预填充分别以 0.84 倍和 0.91 倍慢于 llama.cpp。验证范围仅限于 CUDA sm_86 和这两个模型系列。README 区分说明，前缀缓存复用的正确性并非通过速度基准测试验证，而是通过 test_prefix_cache 测试（12/12）确认。因此，解码数值只是受限环境下的对比结果，仅凭这份资料无法认为在其他 GPU 或模型上也具有优势。