deepseek-ai/deepinfer는 DeepSeek 모델용 오프라인 추론 프레임워크다. 저장소 README는 지원 대상으로 DeepSeek-V4.1-Flash를 명시한다. FACTS에는 최신 릴리스 정보가 없어, 특정 버전의 출시나 변경으로 설명할 수는 없다.
이 프로젝트는 DeepSeek 모델의 추론을 위한 실행 경로와 스케줄링 기능을 제공한다. README는 최적화 커널, 데이터 병렬 주의 처리와 전문가 병렬, 초안 토큰 검증, 비동기 배치 스케줄링, 결정적 샘플링, 구조화 출력을 기능으로 제시한다. 초안 토큰 검증(speculative verification)은 초안으로 만든 토큰을 검증하는 추론 방식이다. 지원 대상으로 NVIDIA SM100과 Huawei Ascend 950도 명시한다. Python 프로젝트이며 Apache-2.0 라이선스다.
다만 README는 완전한 서비스 구성을 위해 별도의 키값 캐시와 작업 분산 기능 등이 필요하다고 밝힌다. 성능 도표의 측정 환경은 SM100에서 프리필 4개와 디코드 64개로 제시되지만, 재현 절차나 독립 측정은 FACTS에 확인되지 않는다. 따라서 이 자료만으로 성능 우위를 판단하기보다, 특정 모델을 위한 구현 범위와 검증되지 않은 성능 근거를 구분해 볼 필요가 있다.