【技术实现步骤摘要】
本专利技术涉及数据一致性监控，尤其涉及一种数据一致性监控方法、装置及电子设备。
技术介绍
1、随着数据仓库的快速发展和数据量的日益增长，确保数据质量和数据一致性变得尤为重要。
2、在源系统和数据仓库之间出现数据一致性问题时，运维人员通常需要运行脚本发现一致性问题。若没有第一时间运行脚本去发现，就意味着在发现和解决问题之间可能存在一段时间的延迟，影响了数据质量和业务决策的及时性。
3、再例如，传统的方式更侧重于由运维人员进行数据处理、数据比对和数据校验等操作，繁琐的操作和大量的人工干预，增加了出错的可能性，并且效率较低，其它管理人员无法直观看到关键问题所在。
4、因此，如何提高数据一致性的监控和处理效率，以及对如何实现一致性问题的可视化展示和管理，为目前亟待解决的技术问题。
技术实现思路
1、本专利技术提供了一种数据一致性监控方法、装置及电子设备，以实现提高数据一致性管理的效率、准确性和安全性。
2、根据本专利技术的一方面，提供了一种数据一致性监控方法，包括：
3、获取源系统的数据，并将所述源系统的数据同步至数据仓库的贴源层；
4、根据所述源系统的数据归档日志，确定所述源系统的数据变化信息，基于所述数据变化信息确定所述源系统中的第一数据表和所述贴源层中的第二数据表；
5、将所述第一数据表和所述第二数据表进行一致性比对，并基于比对的结果更新所述第二数据表。
6、根据本专利技术的另一方面，提供
7、数据同步模块，用于获取源系统的数据，并将所述源系统的数据同步至数据仓库的贴源层；
8、日志监控模块，用于根据所述源系统的数据归档日志，确定所述源系统的数据变化信息，基于所述数据变化信息确定所述源系统中的第一数据表和所述贴源层中的第二数据表；
9、数据比对模块，用于将所述第一数据表和所述第二数据表进行一致性比对，并基于比对的结果更新所述第二数据表。
10、根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
11、至少一个处理器；
12、以及与所述至少一个处理器通信连接的存储器；
13、其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的数据一致性监控方法。
14、根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的数据一致性监控方法。
15、本专利技术实施例的技术方案，通过获取源系统的数据，并将源系统的数据同步至数据仓库的贴源层；根据源系统的数据归档日志，确定源系统的数据变化信息，基于数据变化信息确定源系统中的第一数据表和贴源层中的第二数据表；将第一数据表和第二数据表进行一致性比对，并基于比对的结果更新第二数据表。本专利技术实施例的技术方案，解决了现有技术中在源系统和数据仓库之间出现数据一致性问题时，由运维人员进行操作，繁琐的操作和大量的人工干预，增加了出错的可能性，并且效率较低的问题，实现了提高数据一致性管理的效率、准确性和安全性。应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
本文档来自技高网...【技术保护点】
1.一种数据一致性监控方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述源系统的数据归档日志，确定所述源系统的数据变化信息，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述数据变化信息确定所述源系统中的第一数据表和所述贴源层中的第二数据表，包括：
4.根据权利要求3所述的方法，其特征在于，所述将所述第一数据表和所述第二数据表进行一致性比对，包括：
5.根据权利要求4所述的方法，其特征在于，所述基于比对的结果更新所述第二数据表，包括：
6.根据权利要求3所述的方法，其特征在于，所述将所述第一数据表和所述第二数据表进行一致性比对，包括：
7.根据权利要求1中所述的方法，其特征在于，在将所述第一数据表和所述第二数据表进行一致性比对之后，还包括：
8.根据权利要求1中所述的方法，其特征在于，在将所述第一数据表和所述第二数据表进行一致性比对之后，还包括：
9.一种数据一致性监控装置，其特征在于，包括：
10.一种电子设备，其特征在于，所述电
...【技术特征摘要】
1.一种数据一致性监控方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述源系统的数据归档日志，确定所述源系统的数据变化信息，包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述数据变化信息确定所述源系统中的第一数据表和所述贴源层中的第二数据表，包括：
4.根据权利要求3所述的方法，其特征在于，所述将所述第一数据表和所述第二数据表进行一致性比对，包括：
5.根据权利要求4所述的方法，其特征在于，所述基于比对的结果更...
【专利技术属性】
技术研发人员：郭彤彤，张世良，徐菡，苏扬，杨峰，王建欣，
申请(专利权)人：南方电网数字平台科技广东有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。