b4rtaz/distributed-llama는 가정용 PC와 Raspberry Pi 같은 개인 기기들을 하나로 묶어 클러스터를 만들고, 그 위에서 하나의 LLM을 나누어 추론하는 C++ 엔진이다. GitHub에 게시된 최신 릴리스는 v0.16.5다. 텐서 병렬화(tensor parallelism)는 하나의 모델을 여러 장치에 쪼개 각 장치가 일부를 맡아 계산하는 방식인데, 이 프로젝트는 Ethernet으로 연결된 기기 사이에서 이 방식을 쓴다.
C++로 작성되었고 라이선스는 MIT다. 리포지토리 설명은 기기를 더 많이 연결할수록 추론이 빨라진다고 밝힌다. Linux·macOS·Windows를 지원하며 ARM과 x86_64 AVX2 CPU에 최적화되어 있다. Ethernet을 통한 고속 동기화를 활용하고, 하나의 루트 노드가 여러 워커 노드를 조율하는 구조여서 분산 추론뿐 아니라 CLI 채팅과 API 서버 실행도 함께 담당한다. 저장소는 2023년 12월 4일에 만들어졌고 별은 3112개다.
다만 제공된 기록에는 v0.16.5에서 무엇이 바뀌었는지가 적혀 있지 않다. 기기 수에 따른 처리 속도 변화나 텐서 병렬화가 Ethernet 통신 지연에 얼마나 민감한지 보여 주는 수치도 없고, README에 적힌 설명 외의 검증 자료도 없다. 개인 기기 몇 대를 묶었을 때 실제로 어느 정도의 이득이 나오는지는 이 정보만으로 판단하기 어렵다.