fronteagle739/streaming-llama-stack

llama.cpp 포크를 바탕으로 NVMe 가중치 스트리밍과 추론 도구를 묶은 실험적 C언어 스택을 소개한다.

GitHub 설명: streaming and disaggregated inference stack optimised for small memory systems with fast SSD arrays

스타

★ 6

포크

0

언어

C

라이선스

MIT