athrael-soju/narwhal

role-free フリートで LLM 推論を prefill と decode に分けて処理する Python プロジェクト athrael-soju/narwhal が 0.8.0 をリリースした。

GitHub の説明: Adaptive Disaggregated Inference on a Role-free Fleet!

スター

★ 8

フォーク

2

言語

Python

ライセンス

Apache-2.0

最新リリース

v0.7.0