synchopate/nemotron-30b-cpu-256k 是一个仓库，收录了在没有图形处理单元的情况下用 CPU 以 256K 上下文运行 30B MoE 模型所需的配置与代码。该仓库创建于 2026 年 10 月 29 日，FACTS 中没有记录最新发行版。README 说明它利用了混合 Mamba-2 SSM、L3 NTA 分块、AVX-512 VNNI 瓦片重排和 2MB 大页。仓库说明中给出的吞吐速度主张是 30-50+ tok/s。
该项目的目的是提出在 CPU 上以长上下文运行大语言模型所需的优化配置。据 README 摘要，仓库中包含状态空间模型补丁、缓存优化代码、预测模块以及相关的测试文件。仓库说明给出的技术同时涉及模型执行、缓存处理和 CPU 运算路径。语言为 Python，星标数为 21 个。因此这是一个除了介绍文字之外、构成部件与相关文件都可以查看的案例。
不过，30-50+ tok/s 只是仓库说明中记载的数值，是否经过独立验证无法确认。仓库里有与 KV 缓存相关的测试文件和两份基准测试报告，但仅凭这一点不能说性能主张已得到验证。许可证信息同样没有给出，因此再利用条件无法确认。所以现有资料对于考察 CPU 推理优化的实现配置是有意义的，但作为判断性能或可复用性的依据则存在局限。