新发现
hardenedlinux/sonicboom v0.0.2 — 无需 Python 的 CUDA 张量运行时
hardenedlinux/sonicboom 是一个用 C++ 和 CUDA 构建的原生张量运行时;在 README 的有限对比中,解码快于 llama.cpp,而预填充更慢。
SonicBoom is an AI framework written from the ground up in C++ and CUDA, for workloads where performance matters. Everything is exposed through a stable C ABI, and GNU Guile is its first-class language.
在 GitHub 查看 ↗hardenedlinux/sonicboom 是一个用 C++ 和 CUDA 构建的原生张量运行时;在 README 的有限对比中,解码快于 llama.cpp,而预填充更慢。
没有符合条件的动态。