【技术实现步骤摘要】
本申请涉及数据管理，具体涉及一种数据结构变更通知方法、装置、设备及计算机可读存储介质。
技术介绍
1、随着企业数字化转型的飞速发展，企业内部都在进行数字化建设。数据仓库(datawarehouse)作为企业数据管理和应用的关键基础设施，正扮演着越来越重要的角色。数据仓库建设不仅是企业数字化转型的基石，更是企业实现智能化决策和业务优化的关键步骤。随着数据仓库不断集中企业信息系统数据，如何保证数据仓库贴源层数据与数据源信息一致性，成为数据仓库建设的一个难点。目前数据源数据同步存在以下一些问题：
2、针对数据源的数据结构变更，缺乏监控方法，只能被动等待数据同步任务失败才能感知，影响数据仓库使用；
3、针对数据源的数据结构变更，无法精确捕捉变化内容，依赖实施人员人工排查，效率低下。
技术实现思路
1、为解决上述至少一个技术问题，本申请提供一种数据结构变更通知方法、装置、设备及计算机可读存储介质。
2、第一方面，本申请实施例提供一种数据结构变更通知方法，所述数据结构变更通知方法包括：
3、基于flink cdc中的日志捕获工具获取被监控数据源的日志变更记录；
4、检测所述日志变更记录是否为数据结构变更记录；
5、若为数据结构变更记录，则对日志变更记录进行解析，得到数据结构变更信息；
6、将数据结构变更信息保存到flink cdc中的数据收集器；
7、基于所述数据收集器中的数据结构变更信息进行消息通
8、结合第一方面，在一种实施方式中，所述检测所述日志变更记录是否为数据结构变更记录的步骤包括：
9、检测所述日志变更记录中的keyschema是否为预设字符串；
10、若为预设字符串，则确定日志变更记录为数据结构变更记录。
11、结合第一方面，在一种实施方式中，所述若为数据结构变更记录，则对日志变更记录进行解析，得到数据结构变更信息的步骤包括：
12、若为数据结构变更记录，则对日志变更记录中的historyrecord信息进行解析，得到数据结构发生变更的sql语句以及数据结构发生变更的数据库名称。
13、结合第一方面，在一种实施方式中，所述将数据结构变更信息保存到flink cdc中的数据收集器的步骤包括：
14、将数据结构发生变更的sql语句以及数据结构发生变更的数据库名称构建为tuple2对象，并将tuple2对象保存到flink cdc中的数据收集器。
15、结合第一方面，在一种实施方式中，所述基于所述数据收集器中的数据结构变更信息进行消息通知的步骤包括：
16、对所述数据收集器中的tuple2对象进行解析，得到数据结构发生变更的sql语句以及数据结构发生变更的数据库名称；
17、将接收方信息、通知方式、数据结构发生变更的sql语句以及数据结构发生变更的数据库名称发送至消息通知平台，以供消息通知平台按照所述通知方式将数据结构发生变更的sql语句以及数据结构发生变更的数据库名称发送至接收方信息对应的接收方。
18、结合第一方面，在一种实施方式中，在所述基于所述数据收集器中的数据结构变更信息进行消息通知的步骤之后，还包括：
19、将所述数据结构变更信息记录至变更信息表。
20、第二方面，本申请实施例提供了一种数据结构变更通知装置，所述数据结构变更通知装置包括：
21、获取模块，用于基于flink cdc中的日志捕获工具获取被监控数据源的日志变更记录；
22、检测模块，用于检测所述日志变更记录是否为数据结构变更记录；
23、解析模块，用于若为数据结构变更记录，则对日志变更记录进行解析，得到数据结构变更信息；
24、保存模块，用于将数据结构变更信息保存到flink cdc中的数据收集器；
25、通知模块，用于基于所述数据收集器中的数据结构变更信息进行消息通知。
26、结合第二方面，在一种实施方式中，检测模块，用于：
27、检测所述日志变更记录中的keyschema是否为预设字符串；
28、若为预设字符串，则确定日志变更记录为数据结构变更记录。
29、第三方面，本申请实施例提供了一种数据结构变更通知设备，所述数据结构变更通知设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的数据结构变更通知程序，其中所述数据结构变更通知程序被所述处理器执行时，实现如第一方面所述的数据结构变更通知方法的步骤。
30、第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有数据结构变更通知程序，其中所述数据结构变更通知程序被处理器执行时，实现如第一方面所述的数据结构变更通知方法的步骤。
31、本申请实施例提供的技术方案带来的有益效果包括：
32、本申请实施例中，基于flink cdc中的日志捕获工具获取被监控数据源的日志变更记录；检测所述日志变更记录是否为数据结构变更记录；若为数据结构变更记录，则对日志变更记录进行解析，得到数据结构变更信息；将数据结构变更信息保存到flink cdc中的数据收集器；基于所述数据收集器中的数据结构变更信息进行消息通知。通过本申请实施例，基于日志变更记录能自动识别出数据结构变更事件，并触发消息通知，实现了对数据源的数据结构变更进行监控；通过自动确定数据结构变更信息，避免了人工比对数据源与数据仓库的结构，缩短了数据同步故障处理时间。
本文档来自技高网...【技术保护点】
1.一种数据结构变更通知方法，其特征在于，所述数据结构变更通知方法包括：
2.如权利要求1所述的数据结构变更通知方法，其特征在于，所述检测所述日志变更记录是否为数据结构变更记录的步骤包括：
3.如权利要求1所述的数据结构变更通知方法，其特征在于，所述若为数据结构变更记录，则对日志变更记录进行解析，得到数据结构变更信息的步骤包括：
4.如权利要求3所述的数据结构变更通知方法，其特征在于，所述将数据结构变更信息保存到Flink CDC中的数据收集器的步骤包括：
5.如权利要求4所述的数据结构变更通知方法，其特征在于，所述基于所述数据收集器中的数据结构变更信息进行消息通知的步骤包括：
6.如权利要求1至5中任一项所述的数据结构变更通知方法，其特征在于，在所述基于所述数据收集器中的数据结构变更信息进行消息通知的步骤之后，还包括：
7.一种数据结构变更通知装置，其特征在于，所述数据结构变更通知装置包括：
8.如权利要求7所述的数据结构变更通知装置，其特征在于，检测模块，用于：
9.一种数据结构变
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据结构变更通知程序，其中所述数据结构变更通知程序被处理器执行时，实现如权利要求1至6中任一项所述的数据结构变更通知方法的步骤。
...【技术特征摘要】
1.一种数据结构变更通知方法，其特征在于，所述数据结构变更通知方法包括：
2.如权利要求1所述的数据结构变更通知方法，其特征在于，所述检测所述日志变更记录是否为数据结构变更记录的步骤包括：
3.如权利要求1所述的数据结构变更通知方法，其特征在于，所述若为数据结构变更记录，则对日志变更记录进行解析，得到数据结构变更信息的步骤包括：
4.如权利要求3所述的数据结构变更通知方法，其特征在于，所述将数据结构变更信息保存到flink cdc中的数据收集器的步骤包括：
5.如权利要求4所述的数据结构变更通知方法，其特征在于，所述基于所述数据收集器中的数据结构变更信息进行消息通知的步骤包括：
6.如权利要求1至5中任一项所述的数据结构变更通知方法，其特征在于，在所述基于所...
【专利技术属性】
技术研发人员：王飞，段利君，
申请(专利权)人：中电云计算技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。