johnfink8/sfnx

johnfink8/sfnx는 여러 PCIe 그래픽 카드에 모델 연산을 나누는 추론 엔진으로, README에 특정 V100 세 장 구성의 실행 결과를 공개한다.

GitHub 설명: CUDA engine that splits every layer of a production quality MoE LLM across three PCIe V100 cards delivering 382 tok/s on a used $1,800 box.

스타

★ 4

포크

0

언어

Python

라이선스

MIT