promptfoo/promptfoo는 LLM 애플리케이션의 프롬프트와 모델을 자동으로 평가하고 레드티밍하는 TypeScript 도구다. CLI이자 라이브러리로 제공된다. 대상은 프롬프트뿐 아니라 에이전트와 검색 증강 생성(RAG, 검색으로 근거를 찾아 답변에 붙이는 방식)까지 넓힌다. 레드티밍(red teaming)은 모델이 유해한 출력을 내도록 유도해 취약점을 찾는 시험이다. 평가 항목은 선언형 설정 파일에 적고 명령줄이나 CI/CD에서 실행한다. README는 LLM 평가가 로컬에서 실행된다고 밝힌다. 공개된 최신 릴리스는 code-scan-action-0.2.2다.
선언형 설정으로 GPT, Claude, Gemini, DeepSeek 등 여러 모델의 성능을 비교하고 취약점 스캐닝과 레드티밍, 침투 시험을 수행한다. CI/CD 검사로 자동화하거나 결과를 공유할 수 있다. 저장소 설명은 이 도구를 OpenAI와 Anthropic이 쓴다고 밝힌다. 저장소는 2023년 4월 28일 만들어졌고 현재 별은 26203개, 언어는 TypeScript, 라이선스는 MIT다.
다만 공개된 기록만으로 이 프로젝트가 어느 수준까지인지 판단하기는 이르다. 평가 기록에는 모멘텀 점수 6.6만 남아 있고 신선성·기술·품질 점수는 수치가 주어지지 않는다. code-scan-action-0.2.2의 변경 내용도 출처 자료에 적혀 있지 않다. OpenAI와 Anthropic 사용 사례 역시 저장소 설명에만 적힌 주장이다. 벤치마크 수치나 표준화된 평가 지표도 공개된 자료에 없다. 그래서 먼저 써볼 곳은 프로덕션 판정 도구가 아니라 CI에 붙여 프롬프트와 모델을 바꾼 뒤 회귀가 생기는지 감시하는 쪽으로 보인다.