nvidia/flare-local-inference는 엔비디아 그래픽 장치에서 모델을 직접 구동하는 로컬 추론 서버 저장소다. 긴 대화와 코딩 에이전트, 반복적인 도구 사용을 오래 이어 가도록 설계했다. 2026년 10월 20일 생성된 저장소이며, 태깅된 공개 릴리스가 없어 버전 번호가 없다.
구조는 두 단계로 나뉜다. 파이썬 기반 준비 단계에서 PyTorch와 Transformers, FlashInfer/b12x를 써 모델을 읽고 커널을 조정해 실행 그래프(모델 계산 순서)를 캡처한 뒤 모델 실행 파일을 만든다. 실제 제공은 파이썬 없이 동작하는 Rust 런타임이 맡는다. 즉 모델을 준비하는 쪽은 파이썬 환경에 두고, 요청을 처리하는 쪽은 파이썬 없이 돌린다. 저장소에는 모델별 구현과 캐시, 스케줄러, 분산 처리 코드와 런타임 및 모델 준비 시험이 들어 있다. SM120과 SM121 그래픽 처리 장치를 겨냥하며, 대화 상태와 되풀이 상태를 함께 다뤄 이어 쓰기와 분기, 재개를 보존한다. Apache-2.0 라이선스이고 주 언어 표기는 Python이며, 스타 수는 139다.
다만 대상이 선택된 엔비디아 그래픽 장치로 한정되고, 성능 수치나 벤치마크는 주어지지 않는다. 저장소의 시험도 런타임과 모델 준비 단계에 한정돼 있고 공개 릴리스가 없어, 버전으로 지칭할 검증 지점은 아직 없다. 연구 기록의 점수는 신선성 9.0, 기술 9.0, 품질 8.0, 모멘텀 9.7로, 이는 출처를 읽고 매긴 평가이지 독립 측정이 아니다. 성능 비교 자료가 나오기 전까지는 이 서버가 기존 로컬 추론 환경에서 무엇을 대체할 수 있는지 판단하기 어렵다.