github.devotd.
新发现安全

guardrails-ai/guardrails v0.11.0 — LLM 输入输出约束框架

guardrails-ai/guardrails 是一个 Python 框架,在 LLM 的输入和输出上运行防护规则,以检测和缓解风险,并生成结构化输出。

仓库信息guardrails-ai/guardrails ↗

guardrails-ai/guardrails 是一个 Python 框架,在 LLM 的输入和输出上运行防护规则,以检测和缓解风险,并生成结构化输出。

GitHub 项目说明: Adding guardrails to large language models.

星标
★ 7.5K
复刻
727
语言
Python
许可证
Apache-2.0
最新版本
v0.11.0
查看原始来源 ↗在 GitHub 查看 ↗

guardrails-ai/guardrails 是一个 Python 框架,对大规模语言模型(LLM)的输入和输出施加约束。它在请求送入模型之前和答案返回之后分别运行 Input/Output Guard,检测风险并加以量化,随后进行缓解。该项目以 Apache-2.0 许可证发布,仓库中的最新版本是 v0.11.0。

该框架的目标是构建值得信赖的 AI 应用。它不把模型响应直接输出到服务,而是在执行路径的中间环节应用格式约束和内容约束。它也一并提供了处理验证失败的分支。可以组合 Guardrails Hub 中的多个 validator,并有助于从 LLM 输出中生成结构化数据。它支持闭源 LLM 和开源 LLM,可在 Python 和 JavaScript 中使用。该仓库创建于 2023 年 1 月 29 日,GitHub 星标数为 7543。

不过,现有资料中没有 v0.11.0 的发布说明和变更记录,因此无法得知这个版本究竟改动了什么。也没有关于风险检测效果的对比数据。仓库描述只有一句“为 LLM 加上护栏”。研究记录中只有 3.2 的动量分数,未给出新颖性、技术和质量分数。Apache-2.0 许可证让审查可以较为轻松地开始,但在确认这个版本改动了什么之前,还没有足够依据决定是否引入。