luce-org/lucebox

2枚GPUでの分割デコードにおいて、対象GPUの層あたりのカーネル起動回数を45.4から約36へ削減するlate-expertオプションと、CUDA・HIPの追加融合のコミット。

GitHub の説明: LLM speculative inference server for heterogeneous hardware & consumer GPUs

スター

★ 2.9K

フォーク

287

言語

C++

ライセンス

Apache-2.0