b4rtaz/distributed-llama

b4rtaz/distributed-llama は、家庭用 PC と Raspberry Pi を Ethernet でまとめて、テンソル並列化によって LLM を分散推論する C++ エンジンであり、GitHub の最新リリースは v0.16.5 である。

GitHub の説明: Distributed LLM inference. Connect home devices into a powerful cluster to accelerate LLM inference. More devices means faster inference.

スター

★ 3.1K

フォーク

261

言語

C++

ライセンス

MIT

最新リリース

v0.16.5