数据对比方法技术

本申请实施例属于数据处理领域及金融科技领域，涉及一种数据对比方法，包括：接收到携带有预设配置信息的数据对比指令时，根据所述预设配置信息进行配置，得到已配置参数，所述已配置参数包括表信息

【技术实现步骤摘要】
数据对比方法、系统、计算机设备及存储介质


[0001]本申请涉及数据处理领域及金融科技领域，应用于金融科技相关行业在不同数据报表之间进行数据对比的场景中，尤其涉及一种数据对比方法
、
系统计算机设备及存储介质
。

技术介绍

[0002]目前，在金融科技的相关行业中，对于数据的各方面尤其是质量的要求较为严格
。
而针对数据需求进行数据开发的过程中，经常需要对已有的报表进行字段的新增
、
删除和修改，或者基于相同的字段进行新报表的开发
。
[0003]除此以外，为了提高数据查询效率，通常会采用冗余数据的方式来确保可以通过不同用途或不同维度的报表来查询数据
。
但由于数据口径
、
实现逻辑
、
任务先后顺序的改变，在不同报表中同一指标的数据可能会被改变或者调整，出现对应不上的情况
。
因此，就需要进行数据对比，确定两个报表的数据空置率
、
主键重复度
、
数据量是否匹配
、
各条记录是否一致等，以保证数据质量
。
[0004]数据对比是数据开发过程中的重中之重，传统的数据对比方式，通常需要定制化的设计脚本，需要消耗的人力成本和时间成本较高，并且随着需求的增加检查项目也会日益增多，容易出现遗漏，难以形成标准化的流程来保障数据质量
。

技术实现思路

[0005]本申请实施例的目的在于提出一种数据对比方法r/>、
系统
、
计算机设备及存储介质，以解决通过定制化的设计脚本来进行数据对比所消耗的人力成本和时间成本较高的技术问题
。
[0006]为了解决上述技术问题，本申请实施例提供一种数据对比方法，采用了如下所述的技术方案：
[0007]接收到携带有预设配置信息的数据对比指令时，根据所述预设配置信息进行配置，得到已配置参数，所述已配置参数包括表信息
、
数据范围以及不同的检测项目对应的项目设置；
[0008]根据所述表信息
、
所述数据范围以及所述项目设置，生成每个所述检测项目对应的
SQL
代码；
[0009]根据各个所述
SQL
代码进行数据查询，得到每个所述
SQL
代码对应的返回结果；
[0010]根据各个所述返回结果，确定每个所述检测项目对应的数据对比结果，并根据各个所述数据对比结果生成数据对比报告
。
[0011]进一步的，所述根据各个所述
SQL
代码进行数据查询，得到每个所述
SQL
代码对应的返回结果的步骤，具体包括：
[0012]将每个所述
SQL
代码提交至对应的数据库服务器进行查询；
[0013]接收各个所述数据库服务器输出的查询结果，作为各个所述返回结果
。
[0014]进一步的，在所述接收各个所述数据库服务器输出的查询结果，作为各个所述返回结果的步骤之后，还包括：
[0015]将每个所述
SQL
代码对应的提交信息记录至查询日志，所述提交信息包括提交时间
、
提交号
、
查询记录以及服务器反馈信息；
[0016]将各个所述查询结果更新至查询数据库
。
[0017]进一步的，在所述根据各个所述
SQL
代码进行数据查询，得到每个所述
SQL
代码对应的返回结果的步骤之后，还包括：
[0018]对各个所述返回结果进行解析，确定是否存在异常情况；
[0019]若存在所述异常情况，则针对所述异常情况执行对应的处理流程
。
[0020]进一步的，所述异常情况包括内存受限异常，所述若存在所述异常情况，则针对所述异常情况执行对应的处理流程的步骤，具体包括：
[0021]若所述异常情况为内存受限异常，则确定所述异常情况对应的第一
SQL
代码，根据预设指标对所述第一
SQL
代码进行拆解，得到多个子代码；
[0022]根据各个所述子代码进行数据查询，得到每个所述子代码对应的次级结果；
[0023]对各个所述次级结果进行拼接，得到所述第一
SQL
代码对应的返回结果
。
[0024]进一步的，所述异常情况还包括服务器波动异常和其他异常，所述若存在所述异常情况，则针对所述异常情况执行对应的处理流程的步骤，具体包括：
[0025]若所述异常情况为服务器波动异常，则确定所述异常情况对应的第二
SQL
代码，并重新根据所述第二
SQL
代码进行数据查询，得到所述第二
SQL
代码对应的返回结果；
[0026]若所述异常情况为其他异常，则根据所述异常情况生成对应的异常提示信息，并对所述异常提示信息进行记录
。
[0027]进一步的，在所述根据各个所述返回结果，确定每个所述检测项目对应的数据对比结果，并根据各个所述数据对比结果生成数据对比报告的步骤之后，还包括：
[0028]将所述数据对比报告更新至对比结果数据库；
[0029]接收到所述数据对比报告对应的报告展示指令时，从所述对比结果数据库中提取所述数据对比报告，并在前端页面进行展示
。
[0030]为了解决上述技术问题，本申请实施例还提供一种数据对比系统，采用了如下所述的技术方案：
[0031]一种数据对比系统，包括：
[0032]配置模块，用于接收到携带有预设配置信息的数据对比指令时，根据所述预设配置信息进行配置，得到已配置参数，所述已配置参数包括表信息
、
数据范围以及不同的检测项目对应的项目设置；
[0033]代码生成模块，用于根据所述表信息
、
所述数据范围以及所述项目设置，生成每个所述检测项目对应的
SQL
代码；
[0034]查询模块，用于根据各个所述
SQL
代码进行数据查询，得到每个所述
SQL
代码对应的返回结果；
[0035]确定模块，用于根据各个所述返回结果，确定每个所述检测项目对应的数据对比结果，并根据各个所述数据对比结果生成数据对比报告
。
[0036]为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述
的技术方案：
[0037]一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上所述的数据对比方法的步骤
。
[0038]为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
[0039]一种计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据对比方法，其特征在于，包括下述步骤：接收到携带有预设配置信息的数据对比指令时，根据所述预设配置信息进行配置，得到已配置参数，所述已配置参数包括表信息
、
数据范围以及不同的检测项目对应的项目设置；根据所述表信息
、
所述数据范围以及所述项目设置，生成每个所述检测项目对应的
SQL
代码；根据各个所述
SQL
代码进行数据查询，得到每个所述
SQL
代码对应的返回结果；根据各个所述返回结果，确定每个所述检测项目对应的数据对比结果，并根据各个所述数据对比结果生成数据对比报告
。2.
根据权利要求1所述的数据对比方法，其特征在于，所述根据各个所述
SQL
代码进行数据查询，得到每个所述
SQL
代码对应的返回结果的步骤，具体包括：将每个所述
SQL
代码提交至对应的数据库服务器进行查询；接收各个所述数据库服务器输出的查询结果，作为各个所述返回结果
。3.
根据权利要求2所述的数据对比方法，其特征在于，在所述接收各个所述数据库服务器输出的查询结果，作为各个所述返回结果的步骤之后，还包括：将每个所述
SQL
代码对应的提交信息记录至查询日志，所述提交信息包括提交时间
、
提交号
、
查询记录以及服务器反馈信息；将各个所述查询结果更新至查询数据库
。4.
根据权利要求1所述的数据对比方法，其特征在于，在所述根据各个所述
SQL
代码进行数据查询，得到每个所述
SQL
代码对应的返回结果的步骤之后，还包括：对各个所述返回结果进行解析，确定是否存在异常情况；若存在所述异常情况，则针对所述异常情况执行对应的处理流程
。5.
根据权利要求4所述的数据对比方法，其特征在于，所述异常情况包括内存受限异常，所述若存在所述异常情况，则针对所述异常情况执行对应的处理流程的步骤，具体包括：若所述异常情况为内存受限异常，则确定所述异常情况对应的第一
SQL
代码，根据预设指标对所述第一
SQL
代码进行拆解，得到多个子代码；根据各个所述子代码进行数据查询，得到每个所述子代...

【专利技术属性】
技术研发人员：张涵，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：