calculatedcontent/weightwatcher は、学習データやテストデータにアクセスせずに神経網を分析する Python の診断ツールである。重みの統計だけでモデルのテスト精度を予測し、過学習の兆候を見つけることを目的としており、直近のリリースは 0.7.3.5 である。
事前学習済み、または学習中の pyTorch と Keras モデルの Conv2D・Dense 層を分析し、重みのスペクトルを読み取ってモデル間のテスト精度を比較する。過学習や過度なパラメータ化の兆候を調べる機能があり、モデルの圧縮やファインチューニングの過程で生じる問題、過学習・学習不足の兆候もあわせて検出する。README は、この手法が重い裾の自己正規化理論(Theory of Heavy-Tailed Self-Regularization, HT-SR)に基づくと説明している。ライセンスは Apache-2.0、リポジトリは 2018 年 11 月 28 日に作成され、スター数は 1778 である。
ただし、提示された資料には 0.7.3.5 リリースの変更点が整理されていない。精度の予測は、テストデータで実測した値ではなく README が説明する方法に基づく推定であり、README が分析対象として挙げている層は Conv2D と Dense に限られる。別の構造のモデルで予測がどれだけ当たるのか、実際の性能とどれだけ乖離するかは資料が示していない。慎重に評価すると、学習データにアクセスせずにモデルの状態を一瞥する用途に近い。