github.devotd.
新着推論・サービング

mohit-jpg-dot/airdrop-llm — 無線ネットワークで接続するパイプライン並列推論ブローカー

ローカル無線ネットワーク上にある複数のコンピュータの GPU とメモリを束ね、パイプライン並列推論を実行する Rust リポジトリ。Metal と CUDA の両パスを使い、OpenAI 互換 API ゲートウェイを内蔵している。

リポジトリ情報mohit-jpg-dot/airdrop-llm ↗

ローカル無線ネットワーク上にある複数のコンピュータの GPU とメモリを束ね、パイプライン並列推論を実行する Rust リポジトリ。Metal と CUDA の両パスを使い、OpenAI 互換 API ゲートウェイを内蔵している。

GitHub の説明: An offline, zero-dependency multi-node pipeline-parallel LLM inference broker. Pools heterogeneous consumer hardware (Apple Metal + NVIDIA CUDA) over ad-hoc local hotspot LANs with an integrated OpenAI-compatible API gateway.

スター
★ 7
フォーク
0
言語
Rust
ライセンス
MIT
原文を見る ↗GitHub で見る ↗

mohit-jpg-dot/airdrop-llm は、ローカル無線ネットワーク上にある複数のコンピュータの GPU とメモリを束ね、1 つの言語モデル推論を分割処理するパイプライン並列推論ブローカーである。Apple 引导の Metal と NVIDIA の CUDA パスを併用し、オフラインで依存関係なく動作し、OpenAI 互換 API ゲートウェイを内蔵する。リポジトリは 2026 年 10 月 19 日に作成され、公開されているリリースはない。

README はこのリポジトリを、同じローカル無線ネットワーク上のコンピュータを接続して言語モデル推論を分割実行するツールと説明している。デバイス探索には UDP を用い、モデルの層をデバイスごとに分割配置し、静的ウェイトは各デバイスにそのまま残し、アクティブ値(active value、層の間で受け渡される計算結果)のみを TCP と圧縮で転送する。推論を層単位でデバイス間に分割配置する構成を採用している。Rust で記述され、ライセンスは MIT。スターは 7 個だ。

確認すべき点は README の大規模モデル対応と速度の主張である。いずれも別の計測資料では確認されていない。公開されているリポジトリ情報と README を基準に付けたスコアは、新鮮度 7.0、技術 6.0、完成度 5.0、モメンタム 2.7 で、モメンタムのみ低めに出た。異なるコンシューマー向けハードウェアを一時的なローカルホットスポットの LAN に接続して、大きなモデルを分割して動かせるかどうかが要点であり、現時点でその根拠は README の記述のみである。