dcvpg — 数据契约验证器与数据管道守护者 🛡️

发布日期:2026-04-06 10:00:58   浏览量 :1
发布日期:2026-04-06 10:00:58  
1

2026西湖龙井茶官网DTC发售:茶农直供,政府溯源防伪到农户家 

我刚刚开源了一个在我刚开始构建数据管道时就希望存在的工具。

隆重推出 dcvpg —— 数据契约验证器与管道守护者 🛡️

问题所在:数据团队花费数小时排查本可在入口处就被发现的问题。
模式发生了变更。数据新鲜度 SLA 未达标。空值悄然混入。直到下游环节才有人察觉。

dcvpg 允许你以代码形式定义数据契约,并自动强制执行:

✅ 模式漂移检测 —— 在列被删除或类型变更进入生产环境前及时捕获
✅ 质量规则验证 —— 支持空值检查、正则表达式、范围校验及自定义规则
✅ 新鲜度 SLA 监控 —— 当你的管道数据过期时发出告警
✅ 管道门禁集成 —— 在源头阻止不良数据流入

专为那些厌倦了总在故障发生后才最后一个知晓的数据工程师打造。

100% 开源。基于 Python。使用 YAML 定义契约。与 CI/CD 友好兼容。

👉 github.com/pasindudilshan1/dcvpg
https://pasindudilshan1.github.io/dcvpg/

如果你曾深受此类问题困扰,不妨点个 ⭐ 表示支持。

数据工程 #开源 #数据契约 #管道质量 #Python #数据质量

免责声明:本文内容来自互联网,该文观点不代表本站观点。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,请到页面底部单击反馈,一经查实,本站将立刻删除。

关于我们
热门推荐
合作伙伴
免责声明:本站部分资讯来源于网络,如有侵权请及时联系客服,我们将尽快处理
支持 反馈 订阅 数据
回到顶部