giskard-ai/giskard-oss는 LLM(대형 언어 모델) 에이전트를 테스트하고 평가하는 오픈소스 Python 라이브러리다. 이 저장소의 최신 릴리스는 giskard-agents/v1.0.5이며, 출처는 GitHub의 giskard-ai/giskard-oss 저장소다.
Apache-2.0 라이선스를 쓰며 GitHub 스타는 5913개다. 2022년 3월 6일 만들어졌고, README는 이 라이브러리를 두 갈래로 설명한다. Giskard Checks는 시나리오 API로 직접 만든 시나리오나 내장 체크를 쓰고, LLM-as-judge(모델이 스스로 결과를 판정하는 방식)로 비결정적인 출력을 검증한다.
Giskard Scan은 레드팀(공격자를 흉내 내 시험하는) 시나리오, 취약성 스캐닝(알려진 약점 유형을 시험해 안전 문제를 찾는 일), RAG(검색한 문서를 근거로 답을 만드는 방식) 품질 평가를 맡는다. 여러 차례의 대화가 이어지는 다중 턴 테스트로 실제 에이전트가 공격에 막히는 지점을 점검하는 것이 이 프로젝트의 지향점이다.
다만 확인해야 할 경계가 있다. giskard-agents/v1.0.5에서 무엇이 바뀌었는지는 주어진 자료에 나와 있지 않고, 성능을 보여주는 벤치마크 결과도 주어지지 않았다. 관측된 모멘텀 지표는 10점 기준 1.8로 낮고, 나머지 평가 지표는 자료에 없다. 릴리스 변경 내역이 확인되기 전까지는 README에 적힌 기능 범위만을 근거로 삼는 편이 현실적이다.