johnfink8/sfnx（sFNX）是一个 CUDA 推理引擎，把模型各层的运算拆分到多块 PCIe 显卡上。据仓库说明，它可在三块 PCIe V100 上运行，通过拆分各层，使单个请求能够并发读取每块显卡的内存。它直接实现了卡与卡之间的加法运算，因此无需专用的卡间互连模块即可使用 PCIe 连接。README 表示该配置下达到每秒 382 个 token（tok/s）。
该项目还提供用于在多块显卡上运行 MoE LLM 的独立引擎与服务层，并包含兼容 OpenAI 和 Anthropic 的接口。仓库中还有图像处理器以及设计、基准测试和验证文档；实现语言为 Python，许可证为 MIT。README 公布了特定 V100 配置下的模型运行与并发对话处理结果。因此值得关注的不是单卡性能，而是在 PCIe 连接的多个显卡之间进行层拆分的方式。
不过，每秒 382 个 token 是仓库所说明的特定三块 V100 配置下的结果。README 同时说明了测量方式与适用范围的限制，并指出需要相应的 CUDA 环境、模型文件和运行配置。受支持的显卡代际与精度也存在限制。仓库并未提供证据表明在其他显卡配置或模型上能得到相同结果，因此该性能数值应放在该硬件与测量范围之内理解。