基于大数据平台的数据比对方法、装置和计算机设备制造方法及图纸

本申请大数据技术领域，特别涉及一种基于大数据平台的数据比对方法、装置和计算机设备。所述方法包括：接收任务调度请求，任务调度请求中携带有多个来源业务标识；分别从各来源业务标识对应的业务系统中提取比对数据以及待比对数据；利用预设算法将比对数据存储至对应格式类型的比对数据库表；利用预设算法将待比对数据存储至对应格式类型的待比对数据库表；将比对数据库表与待比对数据库表中的数据分别进行比对，并将比对失败的数据进行推送。采用本方法能够提高数据比对的效率。此外，本发明专利技术还涉及区块链技术，所述比对数据和/或所述待比对数据可存储于区块链中。

【技术实现步骤摘要】
基于大数据平台的数据比对方法、装置和计算机设备
本申请涉及大数据
，特别是涉及一种基于大数据平台的数据比对方法、装置和计算机设备。
技术介绍
在具体的业务场景中，存储于不同业务系统中的数据需要进行数据比对，以保证同一个数据在不同业务系统中的一致性，如可以对不同业务系统中存储的应收手续费进行比对以保证应收手续费数据在不同业务系统中的正确性。但是由于不同业务系统间存在跨系统使得数据存储的方式不同，进而导致不同业务系统中存储的数据不能直接进行比对。传统技术中，实现数据在不同业务系统间的比对，需要先将待比对数据同步到能够与目标业务系统直接进行数据比对的中间业务系统，然后再利用同步到中间业务系统中的数据与目标业务系统中的数据进行比对，需要多个业务系统同时参与到数据的同步过程，使得数据同步的难度较大，并且在数据同步的过程中多个业务系统的参与，还会使得同步的数据量比较大的，导致数据比对的效率低下，此外在数据同步的时候，还会出现数据同步不完整的情况，进而使得利用同步过来的数据进行数据比对的准确率低下。专利技术内容基于此，有本文档来自技高网...

【技术保护点】
1.一种基于大数据平台的数据比对方法，其特征在于，所述方法包括：/n接收任务调度请求，所述任务调度请求中携带有多个来源业务标识；/n分别从各所述来源业务标识对应的业务系统中提取比对数据以及待比对数据；/n利用预设算法将所述比对数据存储至对应格式类型的比对数据库表；/n利用预设算法将所述待比对数据存储至对应格式类型的待比对数据库表；/n将所述比对数据库表与所述待比对数据库表中的数据分别进行比对，并将比对失败的数据进行推送。/n

【技术特征摘要】
1.一种基于大数据平台的数据比对方法，其特征在于，所述方法包括：
接收任务调度请求，所述任务调度请求中携带有多个来源业务标识；
分别从各所述来源业务标识对应的业务系统中提取比对数据以及待比对数据；
利用预设算法将所述比对数据存储至对应格式类型的比对数据库表；
利用预设算法将所述待比对数据存储至对应格式类型的待比对数据库表；
将所述比对数据库表与所述待比对数据库表中的数据分别进行比对，并将比对失败的数据进行推送。


2.根据权利要求1所述的方法，其特征在于，所述将所述比对数据库表与所述待比对数据库表中的数据分别进行比对，并将比对失败的数据进行推送，包括：
从所述比对数据库表中提取比对字段对应的比对数据；
从所述待比对数据库表中提取待比对字段对应的待比对数据；
将所述比对数据与所述待比对数据进行比对；
当比对失败时，将比对失败的比对字段以及待比对字段进行推送。


3.根据权利要求2所述的方法，其特征在于，所述当比对失败时，将比对失败的比对字段以及待比对字段进行推送，包括：
当比对失败时，将比对失败的比对字段以及待比对字段标记为异常数据；
通过预先配置的数据传递接口将所述异常数据同步至所述业务系统，以指示所述业务系统对所述异常数据进行校验。


4.根据权利要求1所述的方法，其特征在于，所述接收任务调度请求之前，还包括：
接收针对任务调度请求的任务调度参数；
根据所述任务调度参数生成任务调度请求。


5.根据权利要求1或4所述的方法，其特征在于，所述分别从各所述来源业务标识对应的业务系统中提取比对数据以及待比对数据，包括：
从所述任务调度请求中提取任务调度时间、比对业务标识以及待比对业务标识；
根据所述任务调度时间分别从所述比对业务标识对应的比对业务系统中提取比对数据，从所述待比对业务标识对应的待比对业务系统中提取待比对数据。


...

【专利技术属性】
技术研发人员：杨进，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：广东;44