synchopate/nemotron-30b-cpu-256k는 그래픽 처리 장치 없이 CPU에서 30B MoE 모델을 256K 컨텍스트로 실행하기 위한 구성과 코드를 담은 저장소다. 저장소는 2026년 10월 29일 생성됐으며, FACTS에 최신 릴리스는 기재되어 있지 않다. README는 하이브리드 Mamba-2 SSM, L3 NTA 슬라이싱, AVX-512 VNNI 타일 재배치와 2MB 대형 페이지를 활용한다고 설명한다. 저장소 설명에 적힌 처리 속도 주장은 30-50+ tok/s다.
이 프로젝트의 목적은 대용량 언어 모델을 긴 문맥으로 CPU에서 실행하는 데 필요한 최적화 구성을 제시하는 것이다. README 요약에 따르면 저장소에는 상태 공간 모델 패치, 기억소 최적화 코드, 예측 모듈과 관련 시험 파일이 있다. 저장소 설명에 제시된 기법은 모델 실행과 기억소 처리, CPU 연산 경로를 함께 다룬다. 언어는 Python이며 별 표시는 21개다. 따라서 소개 문구뿐 아니라 구성 요소와 관련 파일도 살펴볼 수 있는 사례다.
다만 30-50+ tok/s는 저장소 설명에 기재된 수치이며 독립 검증 여부는 확인되지 않는다. 저장소에는 KV 기억소 관련 시험 파일과 벤치마크 보고서 두 건이 있지만, 이 사실만으로 성능 주장이 검증됐다고 볼 수는 없다. 라이선스 정보도 주어지지 않아 재사용 조건은 확인할 수 없다. 그러므로 현재 자료는 CPU 추론 최적화의 구현 구성을 살펴보는 데 의미가 있지만, 성능이나 재사용 가능성을 판단하는 근거로 삼기에는 한계가 있다.