github.devotd.
新发现安全

nvidia/garak v0.17.1 — LLM 漏洞扫描器

nvidia/garak v0.17.1 是一款免费的命令行工具,通过静态、动态和自适应探针及检测器测试 LLM 的幻觉、信息泄露、提示注入和越狱问题。

仓库信息nvidia/garak ↗

nvidia/garak v0.17.1 是一款免费的命令行工具,通过静态、动态和自适应探针及检测器测试 LLM 的幻觉、信息泄露、提示注入和越狱问题。

GitHub 项目说明: nvidia/garak

星标
★ 9.6K
复刻
0
语言
Python
查看原始来源 ↗在 GitHub 查看 ↗

nvidia/garak 是一款免费的命令行工具,用于检查 LLM 和对话系统是否会以不希望的方式失效。仓库说明将该工具定义为 LLM 漏洞扫描器,已公开的最新版本是 v0.17.1。不过本次记录没有保留 v0.17.1 的变更条目,因此无法确认新加入的功能。

garak 是 Generative AI Red-teaming & Assessment Kit 的缩写。它把攻击用探针与检测器(detector)组合起来,用静态、动态和自适应(static, dynamic, adaptive)探针(probe)测试模型,并由检测器判定响应。检查项包括幻觉、数据泄露、提示注入、错误信息、有害内容生成、越狱(jailbreak)等。它同时针对有害输出、信息泄露和提示词脆弱性。该工具用 Python 编写,以 Apache-2.0 许可证开源,仓库的星标数为 9627。仓库创建于 2023 年 5 月 10 日。

不过,这里没有给出可比较检测准确度的基准测试,也没有独立评测。本次记录中能确认的数值只有动量 4.4,新鲜度、技术和质量评分均未算出。检查项虽然很多,但没有留下关于准确度的依据。实际检测性能需要另行确认。