synchopate/nemotron-30b-cpu-256k

synchopate/nemotron-30b-cpu-256k は、CPU 上で 30B MoE モデルを 256K コンテキストで実行するための最適化構成を提示する。

GitHub の説明: Running a 30B MoE LLM on CPU at 30-50+ tok/s with a 256K Context Window via Hybrid Mamba-2 SSM, L3 NTA Slicing, AVX-512 VNNI Tile Repacking & 2MB HugePages

スター

★ 21

フォーク

2

言語

Python

ライセンス

—