ewhacc/tandem.cpp 是一个对 llama.cpp 应用补丁的项目,用于帮助推理无法完全装入显卡内存的混合专家模型。没有单独的发布信息。根据 README,它会把常用的专家缓存到显卡上,其余部分则与 CPU 一起计算。仓库说明指出,该项目的目标是提升模型的吞吐量。
README 中给出了 Qwen3.8-Flash-Next 以及其他混合专家模型的吞吐量结果,并附有测试环境。还可以看到在一台消费级电脑上比较多个模型的表格,以及安装与运行步骤。它还涵盖了 CUDA 构建、显存余量较小环境下的配置、支持的专家格式,以及推测解码(speculative decoding)示例。因此,对于希望在整个模型装不进显存时仍能使用 llama.cpp 的人来说,这是一个提供具体执行路径的仓库。主要语言标注为 Python。
不过,这些结果必须结合 README 中给出的测试环境一起阅读,FACTS 中也没有单独的发布信息。星标数为 3,许可证标注为 NOASSERTION。仅凭公开信息无法确认许可条款,因此目前难以将吞吐量结果视为普遍的性能保证,也难以将该项目视为使用条件明确的工具。