【技术实现步骤摘要】
本申请涉及大数据领域，具体而言，涉及一种数据一致性的确定方法和装置、存储介质及电子装置。
技术介绍
1、现有的数据一致性比对方法是通过sql语句全表查询记录数的方式，如果在同一个时间两个数据库中的同一张表的记录数是一致的，那么就认为该表的数据具有一致性。现有的比对方法需要全表扫描来获取数据的记录数信息。全表扫描在整个大数据环境中，需要耗费大量时间和计算资源，降低整体系统的稳定性。
2、大规模并行处理数据库(即massively parallel processing，简称为mpp数据库)用于海量数据的存储，现有技术中需在实际生产环境进行整表扫描，耗费大量资源及时间，同时在获取记录数的同时也会导致锁表，无法将最新数据写入，导致效率较低。
3、针对相关技术中，在数据湖和数据仓库的双加载环境中，对比数据的一致性的对比效率低的问题，尚未提出有效的解决方案。
技术实现思路
1、本申请实施例提供了一种数据一致性的确定方法和装置、存储介质及电子装置，以至少解决相关技术中，在数据湖和数据仓库的双加载环境中，对比数据的一致性的对比效率低的问题。
2、根据本申请实施例的一个实施例，提供了一种数据一致性的确定方法，包括：确定存储至主数据湖的第一数据的第一记录数和存储至备数据湖的第二数据的第二记录数；以及确定存储至主数据仓库的第三数据的第三记录数和存储至备数据仓库的第四数据的第四记录数，其中，所述主数据湖和所述主数据仓库位于主数据库，所述备数据湖和所述备数据仓库位于备数
3、在一个示例性实施例中，确定存储至主数据湖的第一数据的第一记录数和存储至备数据湖的第二数据的第二记录数，包括：建立所述主数据湖对应的第一数据表和第一作业日志的第一依赖关系，其中，所述第一作业日志用于记录将所述第一数据存储至所述第一数据表的过程；以及建立所述备数据湖对应的第二数据表和第二作业日志的第二依赖关系，其中，所述第二作业日志用于记录将所述第二数据存储至所述第二数据表的过程；根据所述第一依赖关系解析所述第一作业日志，以确定所述第一数据表中的第一数据对应的第一记录数，以及根据所述第二依赖关系解析所述第二作业日志，以确定所述第二数据表中的第二数据对应的第二记录数。
4、在一个示例性实施例中，确定存储至主数据仓库的第三数据的第三记录数和存储至备数据仓库的第四数据的第四记录数，包括：根据所述主数据仓库对应的第三数据表生成第一结构性文件，以及根据所述备数据仓库对应的第四数据表生成第二结构性文件，其中，所述第一结构性文件包括：用于查询所述第三记录数的第一查询语句，所述第二结构性文件包括：用于查询所述第四记录数的第二查询语句；执行所述第一结构性文件，以获取第一执行结果，以及执行所述第二结构性文件，以获取第二执行结果；根据第一执行结果确定所述第三记录数，以及根据第二执行结果确定所述第四记录数。
5、在一个示例性实施例中，根据所述主数据仓库对应的第三数据表生成第一结构性文件，以及根据所述备数据仓库对应的第四数据表生成第二结构性文件，包括：根据所述第三数据表的类型确定所述第三数据表中待对比的数据的第一时间范围，以及根据所述第四数据表的类型确定所述第四数据表中待对比的数据的第二时间范围；根据所述第三数据表和所述第一时间范围生成所述第一查询语句，以及根据所述第四数据表和所述第二时间范围生成所述第二查询语句；根据所述第一查询语句生成所述第一结构性文件，以及根据所述第二查询语句生成所述第二结构性文件。
6、在一个示例性实施例中，在确定所述第一记录数和所述第二记录数的第一对比结果，以及确定所述第三记录数和所述第四记录数的第二对比结果之后，所述方法还包括：在所述第一对比结果指示所述第一记录数和所述第二记录数一致，且所述第二对比结果指示所述第三记录数和所述第四记录数不一致的情况下，确定所述主数据库和所述备数据库中的数据不一致；或所述第一对比结果指示所述第一记录数和所述第二记录数不一致，且所述第二对比结果指示所述第三记录数和所述第四记录数一致的情况下，确定所述主数据库和所述备数据库中的数据不一致；或所述第一对比结果指示所述第一记录数和所述第二记录数不一致，且所述第二对比结果指示所述第三记录数和所述第四记录数不一致的情况下，确定所述主数据库和所述备数据库中的数据不一致。
7、在一个示例性实施例中，在确定所述主数据库和所述备数据库中的数据不一致之后，所述方法还包括：根据所述第一对比结果和/或所述第二对比结果生成预警文件；根据所述预警文件生成通知消息；将所述通知消息推送至目标设备，以使目标对象通过所述目标设备获取所述预警文件。
8、根据本申请实施例的另一个实施例，还提供了一种数据一致性的确定装置，包括：第一确定模块，用于确定存储至主数据湖的第一数据的第一记录数和存储至备数据湖的第二数据的第二记录数；以及确定存储至主数据仓库的第三数据的第三记录数和存储至备数据仓库的第四数据的第四记录数，其中，所述主数据湖和所述主数据仓库位于主数据库，所述备数据湖和所述备数据仓库位于备数据库；第二确定模块，用于确定所述第一记录数和所述第二记录数的第一对比结果，以及确定所述第三记录数和所述第四记录数的第二对比结果；第三确定模块，用于在所述第一对比结果指示所述第一记录数和所述第二记录数一致，且所述第二对比结果指示所述第三记录数和所述第四记录数一致的情况下，确定所述主数据库和所述备数据库中的数据一致。
9、根据本申请实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述方法。
10、根据本申请实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的数据一致性的确定方法。
11、根据本申请实施例的又一方面，还提供了一种计算机程序产品，包括计算机程序其中，上述计算机程序被处理器执行上述的数据一致性的确定方法。
12、在本申请实施例中，确定存储至主数据湖的第一数据的第一记录数、存储在备数据湖的第二数据的第二记录数、存储在主数据仓库的第三数据的第三记录数和存储在备数据仓库的第四数据的第四记录数；在第一记录数和第二记录数的第一对比结果指示第一记录数与第二记录数一致，且第三记录数和第四记录数的第二对比结果指示第三记录数与第四记录数一致的情况下，确定主数据库和备数据库的数据一致。也就是说，将存储至主数据湖中的第一数据的第一记录数和存储至备数据湖中的第二数据进行对比；并将存储至主数据仓库中的第三数据的第三记录数和存储至备数据仓库中的第四数据进行对比。本文档来自技高网...
【技术保护点】
1.一种数据一致性的确定方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，确定存储至主数据湖的第一数据的第一记录数和存储至备数据湖的第二数据的第二记录数，包括：
3.根据权利要求1所述的方法，其特征在于，确定存储至主数据仓库的第三数据的第三记录数和存储至备数据仓库的第四数据的第四记录数，包括：
4.根据权利要求3所述的方法，其特征在于，根据所述主数据仓库对应的第三数据表生成第一结构性文件，以及根据所述备数据仓库对应的第四数据表生成第二结构性文件，包括：
5.根据权利要求1所述的方法，其特征在于，在确定所述第一记录数和所述第二记录数的第一对比结果，以及确定所述第三记录数和所述第四记录数的第二对比结果之后，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，在确定所述主数据库和所述备数据库中的数据不一致之后，所述方法还包括：
7.一种数据一致性的确定装置，其特征在于，包括：
8.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至6任一项中所述的方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行上述权利要求1至6任一项中所述的方法。
...【技术特征摘要】
1.一种数据一致性的确定方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，确定存储至主数据湖的第一数据的第一记录数和存储至备数据湖的第二数据的第二记录数，包括：
3.根据权利要求1所述的方法，其特征在于，确定存储至主数据仓库的第三数据的第三记录数和存储至备数据仓库的第四数据的第四记录数，包括：
4.根据权利要求3所述的方法，其特征在于，根据所述主数据仓库对应的第三数据表生成第一结构性文件，以及根据所述备数据仓库对应的第四数据表生成第二结构性文件，包括：
5.根据权利要求1所述的方法，其特征在于，在确定所述第一记录数和所述第二记录数的第一对比结果，以及确定所述第三记录数和所述第四记录数的第二对比结果...
【专利技术属性】
技术研发人员：王晨光，郭玉章，陈洁，李颢，周政明，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。