guardrails-ai/guardrails 是一个 Python 框架,对大规模语言模型(LLM)的输入和输出施加约束。它在请求送入模型之前和答案返回之后分别运行 Input/Output Guard,检测风险并加以量化,随后进行缓解。该项目以 Apache-2.0 许可证发布,仓库中的最新版本是 v0.11.0。
该框架的目标是构建值得信赖的 AI 应用。它不把模型响应直接输出到服务,而是在执行路径的中间环节应用格式约束和内容约束。它也一并提供了处理验证失败的分支。可以组合 Guardrails Hub 中的多个 validator,并有助于从 LLM 输出中生成结构化数据。它支持闭源 LLM 和开源 LLM,可在 Python 和 JavaScript 中使用。该仓库创建于 2023 年 1 月 29 日,GitHub 星标数为 7543。
不过,现有资料中没有 v0.11.0 的发布说明和变更记录,因此无法得知这个版本究竟改动了什么。也没有关于风险检测效果的对比数据。仓库描述只有一句“为 LLM 加上护栏”。研究记录中只有 3.2 的动量分数,未给出新颖性、技术和质量分数。Apache-2.0 许可证让审查可以较为轻松地开始,但在确认这个版本改动了什么之前,还没有足够依据决定是否引入。