toloka/tolokaforge는 도구 사용, 브라우저, 모바일, 코딩, 장기 과제 평가를 묶은 범용 LLM 벤치마킹 하네스다. 2026-11-06 커밋 3a13b4c는 이 하네스의 Langfuse 연동 패키지 tolokaforge_langfuse를 손댔다. 이 패키지의 데이터 안전 게이트는 트레이스나 첨부 파일처럼 밖으로 나가는 데이터를 훑어 비밀번호처럼 보이는 값을 찾아 내보내기를 막는 장치다. 이번 변경은 게이트가 정당한 데이터까지 비밀자로 오인해 막던 상황을 줄이면서, 실제 비밀은 계속 막도록 판정 범위를 조였다.
면제 규칙이 좁혀졌다. 루프백 주소나 compose 서비스명(db, postgres)으로 향하고 비밀번호가 사용자 이름과 같으며 12자 이하 단일 문자 클래스인 데이터베이스 URL, 그리고 40자리 16진수 지문인 GPG_KEY는 면제된다. 호스트 뒤에 다른 @가 붙거나 host·hostaddr·service 파라미터가 따라오거나 1KiB를 넘는 URL은 예외가 아니다. dotenv 라인은 이름의 대소문자와 상관없이 읽되, 대문자가 아닌 이름의 값이 코드라면 비밀로 보지 않아 `txn_key = compute(x)` 같은 줄이 걸리지 않는다. 면제 건수는 규칙별로 집계되고, 실행이 끝나면 규칙 이름과 함께 경고 한 줄로 남는다.
기본값 secrets: reject 옆에 secrets: mask가 들어갔다. 이 모드에서는 파일의 비밀만 치환해 다시 인코딩하고, sha256와 bytes는 가려진 바이트를 기준으로 계산하며, 가린 파일도 첨부된 것으로 센다. 트레이스 메타데이터 스키마는 34개 키에서 36개 키로 늘었고 bookkeeping 그룹에 secrets와 secrets_masked가 들어갔다. 트랜스크립트 스크럽은 전체를 먼저 가린 뒤 자르도록 순서를 바꿨다. 키 접두사 다음 10자리는 형식이 맞지 않아 가려지지 않아, 나머지 문자가 그대로 나갈 수 있었기 때문이다.
다만 이 변경은 Langfuse 커넥터가 데이터를 내보내기 직전의 검사에 한정된다. 마스킹으로도 가릴 수 없거나 가린 뒤 YAML·JSON으로 되살아나지 않는 파일은 reject와 마찬가지로 건너뛴다. 평가 하네스 전체와 모델 성능은 건드리지 않았고, 커밋 메시지는 게이트가 모르는 형태의 자격 증명은 여전히 통과할 수 있다고 인정한다. 같은 메시지는 마스킹 정책에 묶인 테스트와 공유 벡터 파일을 뒤따르는 변경에서 온다고 밝힌다. 같은 이름이 길게 이어진 입력에서 검사가 제곱으로 느려지던 문제도 파트별 제한으로 고쳤고, 커밋 메시지는 수정 전 96KB의 KEY 문자열에 21초가 걸렸다고 적는다. 지금 단계로는 전송 차단 오탐 때문에 붙어 있던 팀에 실질적 도움이 되는 변경이다.