mohit-jpg-dot/airdrop-llm

一个 Rust 仓库，把本地无线网络中多台计算机的 GPU 与内存聚合起来进行流水线并行推理，同时使用 Metal 与 CUDA 路径，并内置 OpenAI 兼容的 API 网关。

GitHub 项目说明: An offline, zero-dependency multi-node pipeline-parallel LLM inference broker. Pools heterogeneous consumer hardware (Apple Metal + NVIDIA CUDA) over ad-hoc local hotspot LANs with an integrated OpenAI-compatible API gateway.

星标

★ 7

复刻

0

语言

Rust

许可证

MIT