nehanth/pooled

브라우저로 P2P LLM 추론을 나누는 pooled가, 모델을 실행하던 구성원 기기가 떠나거나 새로고침될 때 살아남은 워커가 층을 해제하고 모델 선택 화면으로 돌아가게 하는 커밋(45b5ee2, PR #427)을 반영했다.

GitHub 설명: Peer-to-peer LLM inference in the browser: pool your devices to run big open models, for chat and coding agents.

스타

★ 588

포크

93

언어

JavaScript

라이선스

MIT

최신 릴리스

v2.0.0