github.devotd.
新发现开发工具

prefecthq/prefect 3.9.0 — Python 数据管道编排

prefecthq/prefect 是一个编排框架,将 Python 数据管道整合为工作流,提供定时运行、缓存、重试和事件自动化;最新版本是 3.9.0。

仓库信息prefecthq/prefect ↗

prefecthq/prefect 是一个编排框架,将 Python 数据管道整合为工作流,提供定时运行、缓存、重试和事件自动化;最新版本是 3.9.0。

GitHub 项目说明: Prefect is a workflow orchestration framework for building resilient data pipelines in Python.

星标
★ 24.1K
复刻
2.6K
语言
Python
许可证
Apache-2.0
最新版本
3.9.0
查看原始来源 ↗在 GitHub 查看 ↗

prefecthq/prefect 是一个编排框架,把 Python 数据管道整合为一个工作流,并按顺序和条件执行。仓库说明称,它是为构建即使失败也能继续运行的数据管道而提供的工具。GitHub 上的最新版本是 3.9.0,而所提供的记录中没有关于该版本的变更项。

编排就是按照顺序和规则把多个任务串联起来,作为一个流程进行管理。Prefect 以 Prefect flow 为单位把脚本转为生产级工作流,并一并处理定时运行、缓存、重试和基于事件的自动化。管道之间的依赖关系以及复杂的分支逻辑也可以用代码表达。工作流活动既可以在自托管的 Prefect server 中跟踪,也可以在托管的 Prefect Cloud 仪表板中查看。许可证为 Apache-2.0,主要语言是 Python,GitHub 星标数为 24052。该仓库创建于 2018 年 6 月 29 日。

不过,证据到此为止。没有任何性能数据可以佐证 README 所述功能的实际表现,也没有与其他工具的对比资料。记录在案的评分只有 momentum(动量)3.4 分,而 novelty(新颖性)、tech(技术)、quality(质量)各项均为空。除了文档和发布记录之外,没有其他可佐证的验证材料。它更接近于一种不必着急、可以先在小型管道上尝试的选项。