toloka/tolokaforge は、ツール利用、ブラウザ、モバイル、コーディング、長期的タスク評価をまとめた汎用 LLM ベンチマークハーネスである。2026-11-06 のコミット 3a13b4c は、このハーネスの Langfuse 連携パッケージ tolokaforge_langfuse に手を加えた。同パッケージのデータセーフティゲートは、トレースや添付ファイルのように外へ出ていくデータを走査し、パスワードのように見える値を見つけて送信を止める仕掛けである。今回の変更は判定範囲を絞り、正当なデータまで秘密情報と誤認して 막았던 상황을 줄이면서도、実際の秘密정보는 계속 막도록 조였다。
除外規則が狭くなった。ループバックアドレスや compose のサービス名（db、postgres）を指し、パスワードがユーザー名と同じで 12 文字以下の単一文字種であるデータベース URL、および 40 桁の 16 進フィンガープリントである GPG_KEY は除外される。ホストの後に別の @ が付く場合、host・hostaddr・service パラメータが後に続く場合、1KiB を超える URL は例外ではない。dotenv の行は名前の大小文字にかかわらず読み取るが、大文字でない名前の値は秘密情報とみなさないため、`txn_key = compute(x)` のような行は引っかからない。除外件数はルールごとに集計され、実行が終わるとルール名とともに警告 1 行として残る。
デフォルトの secrets: reject に並べて secrets: mask が追加された。このモードでは、ファイル中の秘密情報だけを置換して再エンコードし、sha256 と bytes はマスクされたバイト列を基準に計算し、マスクしたファイルも添付されたものとして数える。トレースメタデータのスキーマは 34 キーから 36 キーへ増え、bookkeeping グループに secrets と secrets_masked が加わった。トランスクリプトのスクラブは順序を変え、まず全体をマスクしてから切り詰めるようにした。鍵プレフィックスに続く 10 文字が書式不一致でマスクされておらず、残りの文字をそのまま出力し得たためである。
ただし、この変更は Langfuse コネクタがデータを送出する直前の検査に限られる。マスクしても隠しConcreteできないファイルや、マスク後に YAML・JSON として戻らないファイルは、reject と同様にスキップされる。評価ハーネス全体とモデル性能には手を加えておらず、コミットメッセージは、ゲートが知らない形態の資格情報が依然として通過しうることも認めている。同じメッセージは、マスキング方針に紐づくテストと共有ベクトルファイルを含む後続の変更に由来すると述べている。同じ名前が長く続く入力で検査が平方的に遅くなる問題も、パート単位の制限により修正され、コミットメッセージには修正前に 96KB の KEY 文字列的处理に 21 秒かかったと記されている。現段階では、送信ブロックの誤報に縛られていたチームに実質的な助けになる変更である。