mohit-jpg-dot/airdrop-llm

ローカル無線ネットワーク上にある複数のコンピュータの GPU とメモリを束ね、パイプライン並列推論を実行する Rust リポジトリ。Metal と CUDA の両パスを使い、OpenAI 互換 API ゲートウェイを内蔵している。

GitHub の説明: An offline, zero-dependency multi-node pipeline-parallel LLM inference broker. Pools heterogeneous consumer hardware (Apple Metal + NVIDIA CUDA) over ad-hoc local hotspot LANs with an integrated OpenAI-compatible API gateway.