ninjahawk/livenerf는 최상위급 모델이 공개된 뒤 능력치가 얼마나 저하되는지 추적하는 장기 벤치마크다. Python으로 작성됐고 MIT 라이선스로 공개됐다. GitHub 스타는 1544개고 저장소는 2026년 9월 22일 만들어졌다. 공개된 릴리스는 아직 없다. 이 저장소가 공개하는 것은 매일 반복되는 측정 기록과 그 판을 정하는 절차다.
README는 프런티어 모델, 즉 최상위급 모델이 출시 직후 조용히 나빠지는지를 재현 가능한 방식으로 재는 것이 목적이라고 밝힌다. 시험 문항 2336개를 네 개 시험군으로 나누어 4회씩 예행하고, 상위 93퍼센트는 항상 맞히며 78문항만 애매한 판으로 남긴 뒤 사전등록한 절차로 판을 확정한다. 매일 90회 표본을 하네스 해시 461391b6fce64167, 명령줄 버전 2.1.280, 동결된 프롬프트로 돌려 드리프트를 통계적으로 추정한다. 채점은 UK AI Security Institute의 검사 프레임워크 Inspect 위에 구축했고, 통계 처리법은 대규모 언어 모델 평가의 오차막대 논문인 Anthropic의 Adding Error Bars to Evals를 따른다. 시험 여덟 개와 보정용 스크립트를 함께 둬서 판 구성과 채점을 다시 재현할 수 있고, 사전등록 문서(PREREGISTRATION.md 26KB, PLAN.md 21KB)와 결과 보정 문서(CALIBRATION.md, VALIDATION.md, DESIGN.md)는 따로 분리돼 있다.
다만 기록은 2026년 10월 17일 기준 30일 중 25일만 채워졌고, 기준구간 10일로 산출한 최소검출가능효과는 10일 구간당 6.6점이다. 10일 구간당 6.6점보다 작은 변화는 이 설계로는 잡아내기 어렵다. 구현 규모는 작고 벤치마크가 단일 벤더의 단일 모델에 묶여 있어 일반화 가능성도 제한된다. 수집된 평가 점수에서 모멘텀은 10점 만점 기준 3.7로 낮고, 참신성은 8.0, 기술은 7.0, 품질은 8.0이다. 기록이 아직 얇으므로 지금 기대할 수 있는 것은 드리프트 감시 방법론 그 자체다.