【技术实现步骤摘要】
本申请涉及大数据领域，具体而言，涉及一种数据一致性的确定方法和装置、存储介质及电子装置。
技术介绍
1、现有的数据一致性比对方法是通过sql语句全表查询记录数的方式，如果在同一个时间两个数据库中的同一张表的记录数是一致的，那么就认为该表的数据具有一致性。现有的比对方法需要全表扫描来获取数据的记录数信息。全表扫描在整个大数据环境中，需要耗费大量时间和计算资源，降低整体系统的稳定性。
2、大规模并行处理数据库(即massively parallel processing，简称为mpp数据库)用于海量数据的存储，现有技术中需在实际生产环境进行整表扫描，耗费大量资源及时间，同时在获取记录数的同时也会导致锁表，无法将最新数据写入，导致效率较低。
3、针对相关技术中，在数据湖和数据仓库的双加载环境中，对比数据的一致性的对比效率低的问题，尚未提出有效的解决方案。
技术实现思路
1、本申请实施例提供了一种数据一致性的确定方法和装置、存储介质及电子装置，以至少解决相关技术中，在数据湖...
【技术保护点】
1.一种数据一致性的确定方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，确定存储至主数据湖的第一数据的第一记录数和存储至备数据湖的第二数据的第二记录数，包括：
3.根据权利要求1所述的方法，其特征在于，确定存储至主数据仓库的第三数据的第三记录数和存储至备数据仓库的第四数据的第四记录数，包括：
4.根据权利要求3所述的方法，其特征在于，根据所述主数据仓库对应的第三数据表生成第一结构性文件，以及根据所述备数据仓库对应的第四数据表生成第二结构性文件，包括：
5.根据权利要求1所述的方法，其特征在于，在确定所...
【技术特征摘要】
1.一种数据一致性的确定方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，确定存储至主数据湖的第一数据的第一记录数和存储至备数据湖的第二数据的第二记录数，包括：
3.根据权利要求1所述的方法，其特征在于，确定存储至主数据仓库的第三数据的第三记录数和存储至备数据仓库的第四数据的第四记录数，包括：
4.根据权利要求3所述的方法，其特征在于，根据所述主数据仓库对应的第三数据表生成第一结构性文件，以及根据所述备数据仓库对应的第四数据表生成第二结构性文件，包括：
5.根据权利要求1所述的方法，其特征在于，在确定所述第一记录数和所述第二记录数的第一对比结果，以及确定所述第三记录数和所述第四记录数的第二对比结果...
【专利技术属性】
技术研发人员：王晨光，郭玉章，陈洁，李颢，周政明，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。