synchopate/nemotron-30b-cpu-256k は、グラフィックス処理装置なしで CPU 上で 30B MoE モデルを 256K コンテキストで実行するための構成とコードを収めたリポジトリだ。リポジトリは 2026 年 10 月 29 日に作成され、FACTS には最新のリリースが記載されていない。README は、ハイブリッド Mamba-2 SSM、L3 NTA スライシング、AVX-512 VNNI タイル再配置、2MB 巨大ページを活用すると説明している。リポジトリの説明に記載された処理速度の主張は 30-50+ tok/s である。
このプロジェクトの目的は、大規模言語モデルを長いコンテキストで CPU 上で実行するために必要な最適化構成を示すことにある。README の要約によると、リポジトリには状態空間モデルのパッチ、キャッシュ最適化コード、予測モジュール、および関連するテストファイルが含まれる。リポジトリの説明に示された手法は、モデル実行、キャッシュ処理、CPU 演算経路を併せて扱ったものである。言語は Python で、スターは 21 個だ。したがって紹介文だけでなく、構成要素や関連ファイルも確認できる事例である。
ただし 30-50+ tok/s はリポジトリの説明に記載された数値であり、独立に検証されたかどうかは確認できない。リポジトリには KV キャッシュに関するテストファイルとベンチマークレポート 2 件があるが、この事実だけで性能の主張が検証されたとはいえない。ライセンス情報も示されていないため、再利用の条件は確認できない。したがって、現状の資料は CPU 推論最適化の実装構成を検討する意味があるが、性能や再利用可能性を判断する根拠とするには限界がある。