poisonxa16/pxa v4.0.0 是面向 Pascal·Volta GPU 的语言模型推理引擎新版本。项目声称本次版本在相同文件基准下,解码速度提升 3 倍,提示词处理速度提升 8 倍。pxa 是针对 Pascal·Volta GPU 调整过的 llama.cpp 分支,目标是让模型服务器在 Tesla P100·V100 和 GTX 10 系列上运行。
核心是针对这些 GPU 定制的 PXQ 编解码器与内核。项目说明称,其内核是针对没有 DP4A 和张量核心的芯片重新编写的。它支持自有 PXQ·PXQN 格式的模型,也能加载普通的 GGUF 文件;文档说明还提供了根据每张卡实测数据来选择配置的规划器。它还包含把运行拆分到多张 GPU 的功能、推测解码(speculative decoding)、专家缓存和量化权重处理。项目提供兼容 OpenAI 的 API 和浏览器控制面板,许可证为 MIT。
这些性能数字是项目自己的主张。README 中的性能对比是在同一台设备上与上一版本相比的结果,详细数值则指向单独的发布说明。因此,仅凭 3 倍和 8 倍这两个数字,不能认为在其他推理引擎或其他设备上也会获得同样的提升。阅读时应先确认对比条件,并把结论限定在目标 GPU 上的结果。