Devotd Github
新发现大语言模型基础设施

athrael-soju/narwhal 0.8.0 — 运维可见性与 prefill 回收功能

在 role-free 舰队中将 LLM 推理拆分为 prefill 与 decode 来处理的 Python 项目 athrael-soju/narwhal 发布了 0.8.0。

仓库信息athrael-soju/narwhal ↗

在 role-free 舰队中将 LLM 推理拆分为 prefill 与 decode 来处理的 Python 项目 athrael-soju/narwhal 发布了 0.8.0。

GitHub 项目说明: Adaptive Disaggregated Inference on a Role-free Fleet!

星标
★ 8
复刻
2
语言
Python
许可证
Apache-2.0
最新版本
v0.7.0
查看原始来源 ↗在 GitHub 查看 ↗

athrael-soju/narwhal 发布了 0.8.0。该仓库是一个 Python 项目,在 role-free 舰队(即不预先为每个位置固定角色)中将 LLM 推理拆分为 prefill(预先计算)与 decode(token 生成)来处理。发布提交 d92e809 记录于 2026-10-27T21:21:57Z,而 CHANGELOG 中留下的 0.8.0 条目的日期是 2026-10-20。

本次版本新增的功能有三项。添加了运维可见性与配置(operator visibility and setup,#384),并加入了原样复用仍然有效的校准值(calibration)与配置档案的功能(#373)。随后还包含了在负载急增(load surge)时重新确保 prefill 容量、并修复 decode 压力与位置布置问题的修正(#364)。

在打包方面,修正为把特征化测试的黄金记录(characterization golden records)和文档工作流都包含进 sdist 分发物(#371、#369),同时也增加了分步测试的时间预算。.release-please-manifest.json、CITATION.cff、pyproject.toml 中的版本号都从 0.7.0 提升到 0.8.0。分发名称为 narwhal-inference,许可证为 Apache-2.0。

不过,这个提交本身只包含版本号更新和新增 CHANGELOG 条目,改动量仅有 18 行新增和 3 行删除。其中没有包含性能数值或基准测试结果,因此仅凭该提交无法得知 0.8.0 在何种规模下、具体有多大优势。运维界面与配置是否真的符合实际运维流程,需要安装分发物后确认。