guqiong96/lsglang

guqiong96/lsglang 1.7.2 は、GPU expert キャッシュ投入経路を2つに分け、投機的検証のデフォルト値を有効にしたリリースコミットである。

GitHub の説明: Lsglang is a special extension of sglang that fully utilizes CPU and GPU computing resources with an efficient GPU parallel + NUMA parallel architecture, suitable for MOE model hybrid inference.

スター

★ 147

フォーク

17

言語

Python

ライセンス

Apache-2.0

最新リリース

lsglang-v1.6.0