b4rtaz/distributed-llama 是一个 C++ 引擎，把家用 PC、Raspberry Pi 等个人设备整合为一个集群，并在其上把一个 LLM 拆开来做分布式推理。GitHub 上发布的最新版本是 v0.16.5。张量并行（tensor parallelism）是把一个模型切分到多台设备上、由每台设备各自负责一部分计算的方式，而这个项目正是在通过 Ethernet 连接的设备之间采用这种方式。
项目以 C++ 编写，许可证为 MIT。仓库说明称，连接的设备越多，推论速度越快。它支持 Linux、macOS 和 Windows，并针对 ARM 与 x86_64 AVX2 CPU 做了优化。它利用了通过 Ethernet 实现的高速同步；由于采用一个根节点协调多个工作节点的结构，它不仅负责分布式推理，还同时承担 CLI 聊天与 API 服务器的运行。仓库创建于 2023 年 12 月 4 日，目前有 3112 个 star。
不过，现有记录并未说明 v0.16.5 有哪些改动。也没有给出随设备数量变化的处理速度数据，或张量并行对 Ethernet 通信延迟敏感程度的数值，除 README 中的描述外也没有其他验证资料。仅凭这些信息，很难判断把几台个人设备组合在一起后实际能获得多大收益。