promptfoo/promptfoo は、LLM アプリケーションのプロンプトとモデルを自動で評価し、レッドチームする TypeScript ツールだ。CLI として、またライブラリとしても提供される。対象はプロンプトだけでなく、エージェントと検索拡張生成（RAG、根拠を探して答えに添える方式）にも広がる。レッドチーム（red teaming）は、モデルに有害な出力を出させて脆弱点を探す試験だ。評価項目は宣言的な設定ファイルに書き、コマンドラインや CI/CD で実行する。README は LLM 評価がローカルで実行されると明かしている。公開されている最新リリースは code-scan-action-0.2.2 だ。
宣言的な設定で GPT、Claude、Gemini、DeepSeek などの複数モデルの性能を比べ、脆弱性スキャンとレッドチーム、侵入テストを実行する。CI/CD チェックとして自動化したり、結果を共有したりもできる。リポジトリの説明は、このツールを OpenAI と Anthropic が使っていると明かしている。リポジトリは 2023 年 4 月 28 日に作成され、現在のスターは 26203 個、言語は TypeScript、ライセンスは MIT だ。
ただし、公開されている記録だけでこのプロジェクトがどの水準にあるかを判断するのは早い。評価記録に残っているのは momentum スコア 6.6 だけで、新鮮度・技術・品質のスコアには数値が示されていない。code-scan-action-0.2.2 の変更内容も出典資料には記載がない。OpenAI と Anthropic の利用事例も、リポジトリの説明に書かれた主張にすぎない。ベンチマークの数値や標準化された評価指標も公開資料には出ていない。したがって、まず試すなら本番環境の判定ツールではなく、CI に組み込んでプロンプトとモデルを変えたあとに退行が出ていないかを監視するほうがよさそうだ。