athrael-soju/narwhal

在 role-free 舰队中将 LLM 推理拆分为 prefill 与 decode 来处理的 Python 项目 athrael-soju/narwhal 发布了 0.8.0。

GitHub 项目说明: Adaptive Disaggregated Inference on a Role-free Fleet!

文章

新发现11月8日

在 role-free 舰队中将 LLM 推理拆分为 prefill 与 decode 来处理的 Python 项目 athrael-soju/narwhal 发布了 0.8.0。