ninjahawk/livenerf は、最上位級のモデルが公開{})aff 後その能力がどれだけ落ち込むかを追跡する長期ベンチマークだ。Python で書かれ、MIT ライセンスで公開されている。GitHub スターは 1544 個で、リポジトリは 2026 年 9 月 22 日に作成された。公開されているリリースはまだない。このリポジトリが公開しているのは、毎日繰り返される測定記録と、その判定を決める手順である。
README は、最先端モデル、つまり最上位級のモデルがリリース直後に静かに悪化することを、再現可能な方法で測ることが目的だと明かしている。試験問題は 2336 問で、4 つの試験群に分けて 4 回ずつ試行し、上位 93 パーセントは毎回正解させたうえで、判定が曖昧な 78 問だけを残し、事前登録した手順で結論を確定する。毎日の 90 回のサンプルは、ハーネスハッシュ 461391b6fce64167、コマンドラインバージョン 2.1.280、固定プロンプトで実行し、ドリフトを統計的に推定する。採点は UK AI Security Institute の検査フレームワーク Inspect の上に構築され、統計処理は大規模言語モデル評価におけるエラーバー論文である Anthropic の Adding Error Bars to Evals に従う。試験 8 つと較正用スクリプトを一緒に置くことで、試験構成と採点を再現でき、事前登録文書（PREREGISTRATION.md 26KB、PLAN.md 21KB）と結果較正文書（CALIBRATION.md、VALIDATION.md、DESIGN.md）は別々に分けられている。
ただし記録は 2026 年 10 月 17 日時点で 30 日中 25 日しか埋まっておらず、基準期間 10 日で算出した最小検出可能効果は 10 日あたり 6.6 点である。10 日あたり 6.6 点より小さい変化は、この設計では検出しにくい。実装の規模は小さく、ベンチマークが単一ベンダーの単一モデルに縛られているため、一般化の可能性も限られる。収集された評価スコアでは、モメンタムは 10 点満点で 3.7 と低く、新異性は 8.0、技術は 7.0、品質は 8.0 である。記録はまだ薄いので、今期待できるのはドリフト監視の方法論そのものである。