github.devotd.
新发现评测

langfuse/langfuse v4.64.0 — LLM 应用可观测性与评估

langfuse/langfuse 是一个开源平台,在同一处提供 AI 应用的执行记录与评估,最新版本为 v4.64.0。

仓库信息langfuse/langfuse ↗

langfuse/langfuse 是一个开源平台,在同一处提供 AI 应用的执行记录与评估,最新版本为 v4.64.0。

GitHub 项目说明: 🪢 Open source agent evals & observability: Trace, evaluate, and improve LLM applications with one open platform.

星标
★ 36.1K
复刻
4K
语言
TypeScript
许可证
NOASSERTION
最新版本
v4.65.0
查看原始来源 ↗在 GitHub 查看 ↗

langfuse/langfuse 是一个记录并评估 AI 应用执行过程的开源平台。该仓库将本项目定义为开源智能体评估与可观测性,并说明在同一个平台中处理追踪、评估与改进。项目使用 TypeScript 编写,创建于 2023 年 5 月 18 日,GitHub 星标数为 36083,据调研最新版本为 v4.64.0。

Langfuse 所做的事情,是确认提示词与模型调用以怎样的顺序执行。README 说明该项目支持 AI 应用的开发、监控、评估与调试。可观测性(observability)是指保留应用执行流程的记录,以便回溯问题所在,而 Langfuse 以追踪(trace)为单位处理这类记录。除此之外还提供提示词管理、评估、数据集、LLM Playground 和 API。使用方式有两种:使用 Langfuse Cloud,或自行部署在自有基础设施上。SDK 支持 Python 和 JS/TS。将追踪与评估整合在同一平台的配置,正是该仓库的核心。

不过,给定资料中没有 v4.64.0 的变更清单。仓库说明称其为开源,但许可证标注为 NOASSERTION,因此仅凭这些资料无法确认实际使用条件。研究记录中仅填写了 7.2 的势头(momentum)分数,新鲜度、技术、完成度各项均无数值。也没有给出用于比较性能的数值。它可以作为正在寻找将可观测性与评估整合起来的工具的团队的考察对象,但许可条件与 v4.64.0 的变更内容仍需在仓库与发布说明中直接确认。