nvidia/garak は、LLM や対話システムが意図しない形で失敗していないかを確認する無料のコマンドラインツールです。リポジトリの説明はこのツールを LLM 脆弱性スキャナーと定義しており、公開されている最新リリースは v0.17.1 です。ただし、今回の記録には v0.17.1 の変更項目が残っていないため、新たに追加された機能を確認することはできません。
garak は Generative AI Red-teaming & Assessment Kit の略称です。攻撃用のプローブと検出器（detector）を組み合わせて、静的・動的・適応型（static, dynamic, adaptive）プローブ（probe）でモデルを試し、検出器が応答を判定します。検査項目はハルシネーション、データ漏えい、プロンプトインジェクション、誤情報、有害な生成、ジェイルブレイク（jailbreak）などです。有害な出力、情報漏えい、プロンプトの脆弱性をまとめて狙います。Python で書かれ、Apache-2.0 ライセンスで公開されており、リポジトリのスター数は 9627 です。リポジトリは 2023 年 5 月 10 日に作成されました。
ただし、検出精度を比較するベンチマークや独立した評価は示されていません。今回の記録で確認できる数値はモメンタム 4.4 のみで、新鮮さ・技術・品質スコアは算出されていません。検査項目は多いものの、精度に関する根拠は残っていません。実際の検出性能は別途確認する必要があります。