luce-org/lucebox

在双 GPU 分离解码中，将目标 GPU 每层的内核启动次数从 45.4 次减少到约 36 次的 late-expert 选项，以及新增的 CUDA·HIP 融合提交。

GitHub 项目说明: LLM speculative inference server for heterogeneous hardware & consumer GPUs

文章

新发现11月6日

在双 GPU 分离解码中，将目标 GPU 每层的内核启动次数从 45.4 次减少到约 36 次的 late-expert 选项，以及新增的 CUDA·HIP 融合提交。