microsoft/pyrit은 생성형 AI 시스템의 위험을 선제적으로 식별하도록 만든 오픈소스 프레임워크다. 보안 전문가와 엔지니어를 위한 레드팀 도구이며, PyRIT라는 이름은 Python Risk Identification Tool for generative AI를 뜻한다. 가장 최근 릴리스는 v1.1.0이고, 이번 릴리스의 변경 내역은 확인된 자료에 제시되어 있지 않다.
공격 생성·변환·대상 실행·점수화를 하나의 절차로 묶은 것이 이 프레임워크의 중심이다. 대상을 향한 공격을 만들고 목표에 맞게 변형(transform)한 다음 대상을 실제로 실행하고, 결과에 점수(scoring)를 매겨 반복 가능한 적대적 테스트를 수행한다. 같은 절차를 되짚어 시험할 수 있어 생성형 AI 안전성 평가의 근거로 쓰인다.
라이선스는 MIT이고 구현 언어는 Python이며, 저장소는 2023년 12월 12일에 만들어졌고 별표 수는 4663개다. README는 사용·설치·기여 안내가 담긴 웹사이트, 취약점을 비공개로 신고하는 Microsoft Security Response Center, 팀과 커뮤니티를 만날 수 있는 Discord 서버를 안내한다.
다만 근거가 멈추는 지점도 분명하다. 이 저장소 자료만으로는 어떤 모델에서 위험을 어느 정도 잡아내는지 비교할 수 없고, 벤치마크나 검증 수치도 제시되지 않는다. 제공된 평가 항목 중 모멘텀만 10점 만점에 3.5점으로 주어졌고, 나머지 항목은 수치가 없다. 특정 대상과 평가 기준을 정해 두고 시험하는 용도로는 쓸 만하지만, 범용 위험 판정 도구로 볼 근거는 아직 없다.