b4rtaz/distributed-llama

b4rtaz/distributed-llama는 가정용 PC와 Raspberry Pi를 Ethernet으로 묶어 텐서 병렬화 방식으로 LLM을 분산 추론하는 C++ 엔진이며, GitHub의 최신 릴리스는 v0.16.5다.

GitHub 설명: Distributed LLM inference. Connect home devices into a powerful cluster to accelerate LLM inference. More devices means faster inference.

스타

★ 3.1K

포크

261

언어

C++

라이선스

MIT

최신 릴리스

v0.16.5