synchopate/nemotron-30b-cpu-256k

synchopate/nemotron-30b-cpu-256k 提出了在 CPU 上以 256K 上下文运行 30B MoE 模型的优化配置。

GitHub 项目说明: Running a 30B MoE LLM on CPU at 30-50+ tok/s with a 256K Context Window via Hybrid Mamba-2 SSM, L3 NTA Slicing, AVX-512 VNNI Tile Repacking & 2MB HugePages

星标

★ 21

复刻

2

语言

Python

许可证

—