microsoft/pyritは、生成AIシステムのリスクを先回りして特定するために作られたオープンソースフレームワークだ。セキュリティ専門家やエンジニアのためのレッドチームツールであり、PyRITという名称はPython Risk Identification Tool for generative AIを意味する。最新のリリースはv1.1.0で、このリリースの変更履歴は確認できた資料には示されていない。
このフレームワークの中心にあるのは、攻撃の生成・変換・対象の実行・スコアリングを一つの手順にまとめている点だ。対象に向けた攻撃を作り、目標に合わせて変換(transform)したうえで対象を実際に実行し、その結果にスコア(scoring)を与えて再現可能な対抗的テストを行う。同じ手順をやり直して試験できるため、生成AIの安全性評価の根拠として使われる。
ライセンスはMIT、実装言語はPython、��ポジトリは2023年12月12日に作成され、スター数は4663だ。READMEは、利用・インストール・コントリビューションの案内があるウェブサイト、脆弱性を非公開で報告するためのMicrosoft Security Response Center、チームやコミュニティと交流できるDiscordサーバーを案内している。
ただし、根拠が途切れる箇所も明確だ。このリポジトリの資料だけでは、どのモデルでどの程度のリスクを捉えられるか比較できず、ベンチマークや検証数値も示されていない。提示された評価項目のうち、Momentumのみ10点満点で3.5点が与えられ、残りの項目には数値がない。特定の対象と評価基準を定めて試験する用途には使えるが、汎用的なリスク判定ツールとみなせる根拠はまだない。