跨平台同步数据的数据质量检查方法、装置及存储介质制造方法及图纸

本发明专利技术提供了一种跨平台同步数据的数据质量检查方法、装置及存储介质，该方法包括：获取源数据平台的第一数据源类型和目标数据平台的第二数据源类型；根据第一数据源类型和第二数据源类型确定源数据平台和目标数据平台之间的平台映射关系；数据同步过程中获取源数据平台的第一同步数据和目标数据平台的第二同步数据，根据平台映射关系将第一同步数据和第二同步数据转换成同一类型的数据，根据预先确定的数据检查项对转换后的第一同步数据和转换后的第二同步数据进行检查，输出检查结果。本发明专利技术的技术方案提高了跨平台同步数据时数据质量检查的准确性，能够及时发现数据采集同步过程中的异常数据。

【技术实现步骤摘要】
跨平台同步数据的数据质量检查方法、装置及存储介质
本专利技术涉及数据检测
，具体而言，涉及跨平台同步数据的数据质量检查方法、装置及存储介质。
技术介绍
随着互联网和云计算等的蓬勃发展，数据量呈爆发式增长，大数据环境下各种数据的来源和数据的类型丰富多样，使得在不同数据平台下的进行数据的采集同步时，存在很多的差异和不确定性。为了保证数据采集同步的一致性，需要对数据采集同步过程中的数据进行数据质量检查。但是目前的数据质量检查方法常对单个平台的数据进行检查，用于对跨平台的同步数据进行数据质量检查时准确性较差。
技术实现思路
本专利技术解决的问题是如何提高跨平台同步数据的数据质量检查的准确性。为解决上述问题，本专利技术提供一种跨平台同步数据的数据质量检查方法、装置及存储介质。第一方面，本专利技术提供了一种跨平台同步数据的数据质量检查方法，包括：获取源数据平台的第一数据源类型和目标数据平台的第二数据源类型；根据所述第一数据源类型和所述第二数据源类型确定所述源数据平台和所述目标数据平台之间的平本文档来自技高网...

【技术保护点】
1.一种跨平台同步数据的数据质量检查方法，其特征在于，包括：/n获取源数据平台的第一数据源类型和目标数据平台的第二数据源类型；/n根据所述第一数据源类型和所述第二数据源类型确定所述源数据平台和所述目标数据平台之间的平台映射关系；/n根据所述平台映射关系进行数据同步，同步过程中获取所述源数据平台的第一同步数据和所述目标数据平台的第二同步数据，并根据所述平台映射关系将所述第一同步数据和所述第二同步数据转换成同一类型的数据，获得转换后的第一同步数据和转换后的第二同步数据；/n根据预先确定的数据检查项对所述转换后的第一同步数据和所述转换后的第二同步数据进行检查，输出检查结果。/n

【技术特征摘要】
1.一种跨平台同步数据的数据质量检查方法，其特征在于，包括：
获取源数据平台的第一数据源类型和目标数据平台的第二数据源类型；
根据所述第一数据源类型和所述第二数据源类型确定所述源数据平台和所述目标数据平台之间的平台映射关系；
根据所述平台映射关系进行数据同步，同步过程中获取所述源数据平台的第一同步数据和所述目标数据平台的第二同步数据，并根据所述平台映射关系将所述第一同步数据和所述第二同步数据转换成同一类型的数据，获得转换后的第一同步数据和转换后的第二同步数据；
根据预先确定的数据检查项对所述转换后的第一同步数据和所述转换后的第二同步数据进行检查，输出检查结果。


2.根据权利要求1所述的跨平台同步数据的数据质量检查方法，其特征在于，所述数据检查项包括完整性检查项、数据准确性检查项、数据及时性检查项和数据一致性检查项中的至少一种。


3.根据权利要求1所述的跨平台同步数据的数据质量检查方法，其特征在于，所述同步过程中获取所述源数据平台的第一同步数据和所述目标数据平台的第二同步数据包括：
获取同步过程中的同步日志，根据所述同步日志设置抽样数据表；
根据所述抽样数据表在所述源数据平台中随机提取所述第一同步数据，并在所述目标数据平台中提取对应的所述第二同步数据，将所述第一同步数据和所述第二同步数据缓存至中间表。


4.根据权利要求3所述的跨平台同步数据的数据质量检查方法，其特征在于，所述根据预先确定的数据检查项对所述转换后的第一同步数据和所述转换后的第二同步数据进行检查包括：
根据所述数据检查项配置SQL语句，采用所述SQL语句对所述转换后第一同步数据和所述转换后的第二同步数据进行比对检查。


5.根据权利要求3所述的跨平台同步数据的数据质量检查方法，其特征在于，还包括：
当无法获取数据同步过程中所述源数据平台的所述第一同步数据时或同步结束后，读取所述同步日志中记录的同步日志数据；
将所述同步日志数据和所述第二同步数据转换成同一类型的数据，获得转换...

【专利技术属性】
技术研发人员：杨连群，张研，
申请(专利权)人：安徽航天信息科技有限公司，
类型：发明
国别省市：安徽;34