Devotd Github
新发现推理与服务

nehanth/pooled — 模型主机离开时 Worker 释放层

pooled 是一个通过浏览器分担 P2P LLM 推理的项目,它反映了一个提交(45b5ee2,PR #427):当运行模型的成员设备离开或刷新时,存活的 worker 会释放各自持有的层并返回模型选择界面。

仓库信息nehanth/pooled ↗

pooled 是一个通过浏览器分担 P2P LLM 推理的项目,它反映了一个提交(45b5ee2,PR #427):当运行模型的成员设备离开或刷新时,存活的 worker 会释放各自持有的层并返回模型选择界面。

GitHub 项目说明: Peer-to-peer LLM inference in the browser: pool your devices to run big open models, for chat and coding agents.

星标
★ 588
复刻
93
语言
JavaScript
许可证
MIT
最新版本
v2.0.0
查看原始来源 ↗在 GitHub 查看 ↗

pooled 是一个把多台浏览器组成单个 WebRTC 网格、从而分担大型开源模型推理的项目。2026 年 11 月 3 日的 GitHub 提交(45b5ee2,PR #427)处理了这样的一种情况:在房间 creator 之外的成员中,运行模型的设备离开或刷新时该怎么办。该设备掉线后,该模型会停止,存活的设备会释放自己持有的层并返回模型选择界面。

在房间内,其中一台浏览器充当主机(host),拥有对话、分词器、嵌入表、LM head 和采样器,其余设备即 worker(worker)则分段持有连续的层区间。因此,当加载模型的设备消失时,持有那些层的 worker 可能处于未就绪状态。这个提交让 worker 在检测到模型主机离开时,在下一个张量位置停止加载,并同时中止一直在等待的加载节奏(pacing)。之后 worker 释放其持有的层与连接信息,房间重新指定当前模型主机并按下 Start 后,层会重新划分并分配。这就是无需重新加载浏览器标签页也能启动新模型的部分。

文档(docs/protocol.md)把这一情形写成了规则:成员模型主机离开或刷新时,该模型会停止,剩余设备释放层并返回模型选择界面,此后任何人都可以按下 Start,以房间选定的模型主机重新开始。附加的条件是:如果只有一方的链接中断,模型不会停止;只要房间的 creator 仍然指明该主机,现有的重连路径就会保持。在验证方面,新增了浏览器回归场景(hostgone、hostreload、hostgone-loading),并新建了 tests/unit/host_departure_test.js。不过这项改动只处理房间内的连接状态,并不给出关于加载时间或吞吐量的任何测量数据。