github.devotd.
新发现推理与服务

mohit-jpg-dot/airdrop-llm — 通过无线网络组网的流水线并行推理代理

一个 Rust 仓库,把本地无线网络中多台计算机的 GPU 与内存聚合起来进行流水线并行推理,同时使用 Metal 与 CUDA 路径,并内置 OpenAI 兼容的 API 网关。

仓库信息mohit-jpg-dot/airdrop-llm ↗

一个 Rust 仓库,把本地无线网络中多台计算机的 GPU 与内存聚合起来进行流水线并行推理,同时使用 Metal 与 CUDA 路径,并内置 OpenAI 兼容的 API 网关。

GitHub 项目说明: An offline, zero-dependency multi-node pipeline-parallel LLM inference broker. Pools heterogeneous consumer hardware (Apple Metal + NVIDIA CUDA) over ad-hoc local hotspot LANs with an integrated OpenAI-compatible API gateway.

星标
★ 7
复刻
0
语言
Rust
许可证
MIT
查看原始来源 ↗在 GitHub 查看 ↗

mohit-jpg-dot/airdrop-llm 是一个流水线并行推理代理,把本地无线网络中多台计算机的 GPU 与内存聚合起来,将一次语言模型推理拆分处理。它同时使用苹果芯片的 Metal 与英伟达的 CUDA 路径,可离线无依赖运行,并内置 OpenAI 兼容的 API 网关。该仓库创建于 2026 年 10 月 19 日,没有公开的发布版本。

README 将该仓库描述为一个连接同一本地无线网络中各台计算机、分担运行语言模型推理的工具。设备发现使用 UDP,模型层按设备拆分部署,静态权重原样保留在各设备上,只有激活值(active value,层与层之间传递的计算结果)通过 TCP 以压缩方式传输。它采用的是把推理按层拆分到不同设备上的结构。用 Rust 编写,许可证为 MIT。Star 数为 7。

需要确认的是 README 中关于大型模型支持与速度的说法,两者都未得到单独测量的验证。以公开的仓库信息和 README 为依据给出的分数为:新鲜度 7.0、技术 6.0、完成度 5.0、势能 2.7,只有势能偏低。关键在于能否把不同的消费级硬件通过临时的本地热点局域网连接起来、拆分运行大模型,目前的依据仅是 README 的描述。