synchopate/nemotron-30b-cpu-256k

synchopate/nemotron-30b-cpu-256k는 CPU에서 30B MoE 모델을 256K 컨텍스트로 실행하기 위한 최적화 구성을 제시한다.

GitHub 설명: Running a 30B MoE LLM on CPU at 30-50+ tok/s with a 256K Context Window via Hybrid Mamba-2 SSM, L3 NTA Slicing, AVX-512 VNNI Tile Repacking & 2MB HugePages

스타

★ 21

포크

2

언어

Python

라이선스

—