nehanth/pooled

pooled 是一个通过浏览器分担 P2P LLM 推理的项目，它反映了一个提交（45b5ee2，PR #427）：当运行模型的成员设备离开或刷新时，存活的 worker 会释放各自持有的层并返回模型选择界面。

GitHub 项目说明: Peer-to-peer LLM inference in the browser: pool your devices to run big open models, for chat and coding agents.

星标

★ 588

复刻

93

语言

JavaScript

许可证

MIT

最新版本

v2.0.0