b4rtaz/distributed-llama は、家庭用 PC や Raspberry Pi などの個人用デバイスを一つのクラスタにまとめ、その上で一つの LLM を分割して推論する C++ エンジンだ。GitHub で公開されている最新リリースは v0.16.5 である。テンソル並列化（tensor parallelism）は、ひとつのモデルを複数のデバイスに分割し各デバイスが一部を受け持って計算する方式だが、このプロジェクトでは Ethernet で接続されたデバイス間でこの方式采用的是。
C++ で書かれ、ライセンスは MIT だ。リポジトリの説明では、デバイスを多く接続するほど推論が速くなると明かされている。Linux・macOS・Windows に対応し、ARM と x86_64 AVX2 CPU に最適化されている。Ethernet による高速な同期を活用し、単一のルートノードが複数のワーカーノードを調整する構造なので、分散推論だけでなく CLI チャットと API サーバの実行も兼ねている。リポジトリは 2023 年 12 月 4 日に作成され、スターは 3112 個だ。
ただし、提供された記録には v0.16.5 で何が変わったのかが示されていない。デバイス数に応じた処理速度の変化や、テンソル並列化が Ethernet の通信遅延にどれだけ敏感かを示す数値もなく、README の記載以外の検証資料もない。個人のデバイスを数台まとめて実際にどの程度の効果が出るのか、この情報だけでは判断しにくい。