Devotd Github
新发现推理与服务

bpx03/qengine v1.0 — 面向 RTX 3090 的 Qwen3.8-27B INT4 推理引擎

bpx03/qengine v1.0 是一个以 Qwen3.8-27B INT4 与 RTX 3090 配置为目标的 C++·CUDA 推理引擎。

仓库信息bpx03/qengine ↗

bpx03/qengine v1.0 是一个以 Qwen3.8-27B INT4 与 RTX 3090 配置为目标的 C++·CUDA 推理引擎。

GitHub 项目说明: Source-available C++/CUDA inference engine for Qwen3.8-27B INT4 on 3x RTX 3090

星标
★ 4
复刻
0
语言
Cuda
许可证
NOASSERTION
最新版本
v1.0
查看原始来源 ↗在 GitHub 查看 ↗

bpx03/qengine 是一个 C++·CUDA 推理引擎,用于让 Qwen3.8-27B INT4 模型在多张 RTX 3090 上运行。仓库的最新发布版本是 v1.0。README 将连续批处理(continuous batching)、推测解码(speculative decoding)、KV 缓存复用和图像输入列为受支持的功能。项目的范围在于:在该模型与硬件配置下提供这些功能。

主要配置是基于 PCX 的张量并行执行,使用三张 RTX 3090。服务器加载共享库,提供兼容 OpenAI 和 Anthropic 的 API,说明称可以与 Claude Code 等工具连接。同时还公开了两卡配置下的性能测量值。因此,与通用推理引擎相比,它更接近一个为特定模型与显卡组合提供执行路径和服务器接入方式的项目。

不过,已公开的性能测量以显卡通过修改过的 NVIDIA 内核驱动彼此直接通信的构成为前提。README 说明对其他显卡和模型的支持有限。许可证标注为 NOASSERTION,仅凭这份资料无法确认使用条件。与其把性能结果原样套用到其他环境,不如在文档所写的硬件与驱动条件之内来考察这个项目。