数据对比方法、系统以及存储介质技术方案

本发明专利技术涉及计算机执行的数据对比技术，其提供了一种数据对比方法、系统以及存储介质，可用于对交易数据的一致性进行对比。在本发明专利技术的实施方式中，数据对比方法包括：将来自各个渠道的客户端的实时数据记录至第一数据库中；触发各个渠道的用于进行数据对比的对比任务；根据渠道编号、资源数量向资源控制器申请资源；根据申请得到的资源，执行各个渠道的对比任务。

【技术实现步骤摘要】
数据对比方法、系统以及存储介质
本专利技术涉及计算机执行的数据对比技术，更为具体而言，涉及数据对比方法、系统以及存储介质。
技术介绍
在消费金融的业务中，包含大量的资金往来，为保障资金往来的安全、合法、一致，经常需要对每一笔交易进行检查。在建设成消费金融信息化系统后，虽然每一笔交易都有记录，但是在基于分布式的系统架构中，无法保证事务的强一致性，同时由于对接了多个第三方公司，交易结果非常可能因为第三方公司的原因发生变更。因此，需要对每天的交易数据，做一个全局的一致性对比校验，输出结果供业务使用。
技术实现思路
本专利技术提供了一种数据对比方法、系统以及存储介质，可用于对交易数据的一致性进行对比。一方面，本专利技术实施方式的数据对比方法包括：将来自各个渠道的客户端的实时数据记录至第一数据库中；触发各个渠道的用于进行数据对比的对比任务；根据渠道编号、资源数量向资源控制器申请资源；根据申请得到的资源，执行各个渠道的对比任务。在本专利技术的一些实施方式中，对于所述对比任务，维护有包含以下信息的记录：渠道编号、执行日期、执行状态、数据条数、创建时间、更新时间；对于各个渠道，维护有渠道配置信息，所述渠道配置信息包括渠道编号、处理完成时间、对比维度。在本专利技术的一些实施方式中，所述数据对比方法还包括：根据各渠道的处理完成时间解析出完成所需时间，通过完成所需时间减去当前时间得到剩余时间；根据各渠道的剩余时间，按照升序，对于每个渠道执行以下步骤：记录对比任务的执行状态和交易数；获取历史单日最大交易数，通过该历史单日最大交易数减去记录的交易数得到申请资源数，然后执行所述根据渠道编号、资源数量向资源控制器申请资源的处理；相对于其他渠道的对比任务，异步执行本渠道的对比任务。在本专利技术的一些实施方式中，计算到剩余时间不足以完成下一渠道的对比任务时，进行告警处理，并将剩余的资源全部分配给该对比任务，直至分配的资源满足所述资源数量时启动该对比任务。在本专利技术的一些实施方式中，申请资源时，所述资源控制器根据渠道编号、对比维度从第一数据库获取数据；通过获取的数据的字节大小乘以申请的资源数量来估算数据块大小；根据估算的数据块大小从资源列表中扣减资源并锁住整个资源列表，并返回可用资源的ID，解锁该资源列表；其中，所述资源列表包含可用资源的ID和资源大小。在本专利技术的一些实施方式中，根据申请得到的资源，执行各个渠道的对比任务，包括：通过数据收集器根据可用资源的ID从所述第一数据库抽取数据到该ID对应的存储资源，并解析出相应渠道的对比规则，输出Key(键)、Value(值)；通过数据对比器对相同Key的Value进行比较，生成比较结果，并记录到第二数据库中。在本专利技术的一些实施方式中，根据申请得到的资源，执行各个渠道的对比任务，包括：数据收集器根据对比维度输出Key(键)、Value(值)；数据对比器根据Key对比Value，输出差异。另一方面，本专利技术实施方式提供了一种数据对比系统，其包括：实时数据收集器，其将来自各个渠道的客户端的实时数据记录至第一数据库中；任务触发器，其触发各个渠道的用于进行数据对比的对比任务；任务协调器，其根据渠道编号、资源数量向资源控制器申请资源，并根据申请得到的资源，协调各个渠道的对比任务的执行。在本专利技术的一些实施方式中，对于所述对比任务，维护有包含以下信息的记录：渠道编号、执行日期、执行状态、数据条数、创建时间、更新时间；对于各个渠道，维护有渠道配置信息，所述渠道配置信息包括渠道编号、处理完成时间、对比维度。在本专利技术的一些实施方式中，所述任务协调器执行的处理还包括：根据各渠道的处理完成时间解析出完成所需时间，通过完成所需时间减去当前时间得到剩余时间；根据各渠道的剩余时间，按照升序，对于每个渠道执行以下步骤：记录对比任务的执行状态和交易数；获取历史单日最大交易数，通过该历史单日最大交易数减去记录的交易数得到申请资源数，然后执行所述根据渠道编号、资源数量向资源控制器申请资源的处理；相对于其他渠道的对比任务，异步执行本渠道的对比任务。在本专利技术的一些实施方式中，计算到剩余时间不足以完成下一渠道的对比任务时，进行告警处理，并将剩余的资源全部分配给该对比任务，直至分配的资源满足所述资源数量时启动该对比任务。在本专利技术的一些实施方式中，所述数据对比系统还包括所述资源控制器，所述资源控制器执行的处理包括：根据渠道编号、对比维度从第一数据库获取数据；通过获取的数据的字节大小乘以申请的资源数量来估算数据块大小；根据估算的数据块大小从资源列表中扣减资源并锁住整个资源列表，并返回可用资源的ID，解锁该资源列表；其中，所述资源列表包含可用资源的ID和资源大小。在本专利技术的一些实施方式中，各个渠道的对比任务的执行包括：通过数据收集器根据可用资源的ID从所述第一数据库抽取数据到该ID对应的存储资源，并解析出相应渠道的对比规则，输出Key、Value；通过数据对比器对相同Key的Value进行比较，生成比较结果，并记录到第二数据库中。在本专利技术的一些实施方式中，各个渠道的对比任务的执行包括：数据收集器根据对比维度输出Key、Value；数据对比器根据Key对比Value，输出差异。再一方面，本专利技术实施方式提供了一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以执行本专利技术任意一个实施方式所述的方法。实施本专利技术具有以下优点：本专利技术实施方式对应各个交易渠道设置相应的对比任务来执行交易数据的对比，并且，根据渠道编号、资源数量向资源控制器申请资源，根据申请得到的资源，执行各个渠道的对比任务，由此可以根据资源弹性伸缩，提高系统可靠性。此外，通过实时数据收集器直接保存实时数据，后续由资源触发器调度触发，解决外部原因导致的交易结果变更问题，解决无界数据的处理。通过任务协调器记录任务执行状态、交易数，以便通过历史数据进行分析、预估申请资源，同时避免任务重复执行。通过资源控制器提高系统可靠性。渠道配置信息增加了“对比维度”，数据收集器根据“对比维度”输出键Key、Value，数据对比器根据Key对比Value，输出差异，实现各个渠道定制化对比规则。本专利技术实施方式的各个方面、特征、优点等将在下文结合附图进行具体描述。根据以下结合附图的具体描述，本专利技术的上述方面、特征、优点等将会变得更加清楚。附图说明图1是根据本专利技术实施方式的数据对比方法的流程示意图；图2是根据本专利技术实施方式的数据对比系统的架构示意图；图3示出了本专利技术实施方式的任务协调器的处理过程的示例；图4示出了本专利技术实施方式的资源控制器的处理过程的示例。具体实施方式为了便于理解本专利技术技术方案的各个方面、特征以及优点，下面结合附图对本专利技术进行具体描述。应当理解，下述的各种实施方式只用于举例说明，而非用于限制本专利技术的保护范围。图1示出了根据本专利技术实施方式的数据对比方法的示例。本发本文档来自技高网...

【技术保护点】
1.一种数据对比方法，其特征在于，包括：/n将来自各个渠道的客户端的实时数据记录至第一数据库中；/n触发各个渠道的用于进行数据对比的对比任务；/n根据渠道编号、资源数量向资源控制器申请资源；/n根据申请得到的资源，执行各个渠道的对比任务。/n

【技术特征摘要】
1.一种数据对比方法，其特征在于，包括：
将来自各个渠道的客户端的实时数据记录至第一数据库中；
触发各个渠道的用于进行数据对比的对比任务；
根据渠道编号、资源数量向资源控制器申请资源；
根据申请得到的资源，执行各个渠道的对比任务。


2.如权利要求1所述的数据对比方法，其特征在于，
对于所述对比任务，维护有包含以下信息的记录：渠道编号、执行日期、执行状态、数据条数、创建时间、更新时间；
对于各个渠道，维护有渠道配置信息，所述渠道配置信息包括渠道编号、处理完成时间、对比维度。


3.如权利要求2所述的数据对比方法，其特征在于，还包括：
根据各渠道的处理完成时间解析出完成所需时间，通过完成所需时间减去当前时间得到剩余时间；
根据各渠道的剩余时间，按照升序，对于每个渠道执行以下步骤：
记录对比任务的执行状态和交易数；
获取历史单日最大交易数，通过该历史单日最大交易数减去记录的交易数得到申请资源数，然后执行所述根据渠道编号、资源数量向资源控制器申请资源的处理；
相对于其他渠道的对比任务，异步执行本渠道的对比任务。


4.如权利要求3所述的数据对比方法，其特征在于，计算到剩余时间不足以完成下一渠道的对比任务时，进行告警处理，并将剩余的资源全部分配给该对比任务，直至分配的资源满足所述资源数量时启动该对比任务。


5.如权利要求2所述的数据对比方法，其特征在于，申请资源时，所述资源控制器根据渠道编号、对比维度从第一数据库获取数据；
通过获取的数据的字节大小乘以申请的资源数量来估算数据块大小；
根据估算的数据块大小从资源列表中扣减资源并锁住整个资源列表，并返回可用资源的ID，解锁该资源列表；其中，所述资源列表包含可用资源的ID和资源大小。


6.如权利要求5所述的数据对比方法，其特征在于，根据申请得到的资源，执行各个渠道的对比任务，包括：
通过数据收集器根据可用资源的ID从所述第一数据库抽取数据到该ID对应的存储资源，并解析出相应渠道的对比规则，输出键Key、值Value；
通过数据对比器对相同Key的Value进行比较，生成比较结果，并记录到第二数据库中。


7.如权利要求2所述的数据对比方法，其特征在于，根据申请得到的资源，执行各个渠道的对比任务，包括：
数据收集器根据对比维度输出键Key、值Value，
数据对比器根据Key对比Value，输出差异。


8.一种数据对比系统，其特征在于，包括：
实时数据收集器，其将来自各个渠道的客户端的实时数据记录至第...

【专利技术属性】
技术研发人员：丁美飞，唐明东，王巨鹏，郭戈辉，
申请(专利权)人：河北幸福消费金融股份有限公司，
类型：发明
国别省市：河北;13