davide-troiani/moeshift

davide-troiani/moeshift는 애플 실리콘에서 혼합 전문가 모델을 로컬로 실행하기 위한 알파 단계 추론 도구다.

GitHub 설명: Memory efficient and high performance Mixture-of-Experts inference for Apple Silicon

스타

★ 7

포크

0

언어

C++

라이선스

MIT