数据结构变更通知方法、装置、设备及存储介质制造方法及图纸

技术编号:41185698 阅读:20 留言:0更新日期:2024-05-07 22:18
一种数据结构变更通知方法、装置、设备及计算机可读存储介质。该方法包括:基于Flink CDC中的日志捕获工具获取被监控数据源的日志变更记录;检测所述日志变更记录是否为数据结构变更记录;若为数据结构变更记录,则对日志变更记录进行解析,得到数据结构变更信息;将数据结构变更信息保存到Flink CDC中的数据收集器;基于所述数据收集器中的数据结构变更信息进行消息通知。通过本申请,基于日志变更记录能自动识别出数据结构变更事件,并触发消息通知,实现了对数据源的数据结构变更进行监控;通过自动确定数据结构变更信息,避免了人工比对数据源与数据仓库的结构,缩短了数据同步故障处理时间。

【技术实现步骤摘要】

本申请涉及数据管理,具体涉及一种数据结构变更通知方法、装置、设备及计算机可读存储介质。


技术介绍

1、随着企业数字化转型的飞速发展,企业内部都在进行数字化建设。数据仓库(datawarehouse)作为企业数据管理和应用的关键基础设施,正扮演着越来越重要的角色。数据仓库建设不仅是企业数字化转型的基石,更是企业实现智能化决策和业务优化的关键步骤。随着数据仓库不断集中企业信息系统数据,如何保证数据仓库贴源层数据与数据源信息一致性,成为数据仓库建设的一个难点。目前数据源数据同步存在以下一些问题:

2、针对数据源的数据结构变更,缺乏监控方法,只能被动等待数据同步任务失败才能感知,影响数据仓库使用;

3、针对数据源的数据结构变更,无法精确捕捉变化内容,依赖实施人员人工排查,效率低下。


技术实现思路

1、为解决上述至少一个技术问题,本申请提供一种数据结构变更通知方法、装置、设备及计算机可读存储介质。

2、第一方面,本申请实施例提供一种数据结构变更通知方法,所述数据结构变更通知方法包括:本文档来自技高网...

【技术保护点】

1.一种数据结构变更通知方法,其特征在于,所述数据结构变更通知方法包括:

2.如权利要求1所述的数据结构变更通知方法,其特征在于,所述检测所述日志变更记录是否为数据结构变更记录的步骤包括:

3.如权利要求1所述的数据结构变更通知方法,其特征在于,所述若为数据结构变更记录,则对日志变更记录进行解析,得到数据结构变更信息的步骤包括:

4.如权利要求3所述的数据结构变更通知方法,其特征在于,所述将数据结构变更信息保存到Flink CDC中的数据收集器的步骤包括:

5.如权利要求4所述的数据结构变更通知方法,其特征在于,所述基于所述数据收集器中的数...

【技术特征摘要】

1.一种数据结构变更通知方法,其特征在于,所述数据结构变更通知方法包括:

2.如权利要求1所述的数据结构变更通知方法,其特征在于,所述检测所述日志变更记录是否为数据结构变更记录的步骤包括:

3.如权利要求1所述的数据结构变更通知方法,其特征在于,所述若为数据结构变更记录,则对日志变更记录进行解析,得到数据结构变更信息的步骤包括:

4.如权利要求3所述的数据结构变更通知方法,其特征在于,所述将数据结构变更信息保存到flink cdc中的数据收集器的步骤包括:

5.如权利要求4所述的数据结构变更通知方法,其特征在于,所述基于所述数据收集器中的数据结构变更信息进行消息通知的步骤包括:

6.如权利要求1至5中任一项所述的数据结构变更通知方法,其特征在于,在所述基于所...

【专利技术属性】
技术研发人员:王飞段利君
申请(专利权)人:中电云计算技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1