防重批量处理数据的方法、装置、系统及存储介质制造方法及图纸

本申请提供一种防重批量处理数据的方法、装置、系统及存储介质，在防重批量处理数据的方法中，调度中心系统中的调度节点通过根据获取到的调度计划，获取分布式锁，调度计划包括处理任务和处理时间，分布式锁用于锁定处理任务只在调度节点执行。之后根据处理任务向批处理受理单元发送第一调用指令，第一调用指令中包括调度计划。本方法中，调度中心系统中的调度节点通过获取分布式锁，锁定处理任务只在该调度节点执行，与现有技术相比，能够确保业务数据只被处理一次，有效提高了业务数据处理的准确性。

【技术实现步骤摘要】
防重批量处理数据的方法、装置、系统及存储介质
本申请涉及计算机
，尤其涉及一种防重批量处理数据的方法、装置、系统及存储介质。
技术介绍
在互联网支付以及电子商务等领域中，为了提高数据处理的速度和效率，通常会对批量数据进行处理。举例来说，如批量代发工资，批量发放电子优惠券，批量生成交易明细账单等。在现有技术中，对批量数据进行处理主要通过人工对处理受理单元配置批量业务受理能力，将具有批量业务受理能力的处理受理单元称为批处理受理单元，之后在批处理受理单元对批量数据进行统一处理。然而，如果存在多个批处理受理单元，在对批量数据进行处理过程中可能会使得多个批处理受理单元同时工作，导致数据被重复处理，准确度较低。
技术实现思路
本申请提供一种防重批量处理数据的方法、装置、系统及存储介质，以解决如果存在多个批处理受理单元，在对批量数据进行处理过程中可能会使得多个批处理受理单元同时工作，导致数据被重复处理，准确度较低的问题。第一方面，本申请实施例提供一种防重批量处理数据的方法，应用于调度中心系统中的调度节点中，所述方法包括：根据获取到的调度计划，获取分布式锁，所述调度计划包括处理任务和处理时间，所述分布式锁用于锁定所述处理任务只在所述调度节点执行；根据所述处理任务向批处理受理单元发送第一调用指令，所述第一调用指令中包括所述调度计划。在第一方面的一种可能设计中，所述方法还包括：接收所述批处理受理单元返回的执行结果；或者，在发送完所述第一调用指令后预设时长未接收到执行结果，则再次向所述批处理受理单元重新发送所述第一调用指令。在第一方面的另一种可能设计中，所述根据获取到的调度计划，获取分布式锁，包括：根据所述调度计划，从中间件或数据库服务器获取所述分布式锁；其中所述中间件包括Redis中间件或ZooKeeper中间件。第一方面，本申请实施例提供一种防重批量处理数据的方法，应用于批处理受理单元，所述方法包括：接收调度中心系统中的调度节点发送的第一调用指令，所述第一调用指令包括调度计划，所述调度计划包括处理任务和处理时间；根据所述第一调用指令，生成用于标记数据的第一线程号；从数据库服务器中获取待处理的业务数据，并将所述第一线程号更新至所述数据库服务器中所述业务数据表中的所述业务数据对应的线程号字段；根据所述处理时间和所述处理任务对所述业务数据进行处理。在第二方面的一种可能设计中，所述方法还包括：在对所述业务数据处理完成后，将处理结果返回所述调度中心系统中的调度节点。在第二方面的另一种可能设计中，所述方法还包括：接收所述调度中心系统的所述调度节点发送的第二调用指令，所述第二调用指令包括调度计划，所述调度计划包括处理任务和处理时间；根据所述第二调用指令，生成用于标记数据的第二线程号；从数据库服务器中获取线程号字段为空的待处理的新的业务数据，并将所述第二线程号更新至所述数据库服务器中所述业务数据表中所述新的业务数据对应的线程号字段；根据所述处理时间和所述处理任务对所述新的业务数据进行处理。第三方面，本申请实施例提供一种防重批量处理数据的装置，包括：获取模块及发送模块；所述获取模块，用于根据获取到的调度计划，获取分布式锁，所述调度计划包括处理任务和处理时间，所述分布式锁用于锁定所述处理任务只在所述调度节点执行；所述发送模块，用于根据所述处理任务向批处理受理单元发送第一调用指令，所述第一调用指令中包括所述调度计划。在第三方面的一种可能设计中，所述装置还包括：接收模块；所述接收模块，用于接收所述批处理受理单元返回的执行结果；或者，所述发送模块，还用于在发送完所述第一调用指令后预设时长未接收到执行结果，则再次向所述批处理受理单元重新发送所述第一调用指令。在第三方面的另一种可能设计中，所述获取模块，具体用于：根据所述调度计划，从中间件或数据库服务器获取所述分布式锁；其中所述中间件包括Redis中间件或ZooKeeper中间件。第四方面，本申请实施例提供一种防重批量处理数据的装置，包括：接收模块、生成模块及处理模块；所述接收模块，用于接收调度中心系统中的调度节点发送的第一调用指令，所述第一调用指令包括调度计划，所述调度计划包括处理任务和处理时间；所述生成模块，用于根据所述第一调用指令，生成用于标记数据的第一线程号；所述处理模块，用于从数据库服务器中获取待处理的业务数据，并将所述第一线程号更新至所述数据库服务器中所述业务数据表中的所述业务数据对应的线程号字段；所述处理模块，还用于根据所述处理时间和所述处理任务对所述业务数据进行处理。在第四方面的一种可能设计中，所述装置还包括：发送模块；所述发送模块，用于在对所述业务数据处理完成后，将处理结果返回所述调度中心系统中的调度节点。在第四方面的另一种可能设计中，所述接收模块，还用于接收所述调度中心系统的所述调度节点发送的第二调用指令，所述第二调用指令包括调度计划，所述调度计划包括处理任务和处理时间；所述生成模块，还用于根据所述第二调用指令，生成用于标记数据的第二线程号；所述处理模块，还用于从数据库服务器中获取线程号字段为空的待处理的新的业务数据，并将所述第二线程号更新至所述数据库服务器中所述业务数据表中所述新的业务数据对应的线程号字段；所述处理模块，还用于根据所述处理时间和所述处理任务对所述新的业务数据进行处理。第五方面，本申请实施例提供一种防重批量处理数据的系统，包括：调度中心系统，数据库服务器以及批处理受理单元；所述调度中心系统中包括控制模块以及多个调度节点，每个调度节点用于执行第一方面以及各可能设计提供的方法；所述数据库服务器用于存储业务数据表；所述批处理受理单元用于执行第二方面以及各可能设计提供的方法。第六方面，本申请实施例可提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面、第二方面以及各可能设计提供的方法。第七方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时用于实现第一方面、第二方面以及各可能设计提供的方法。本申请实施例提供的防重批量处理数据的方法、装置、系统及存储介质，调度中心系统中的调度节点通过根据获取到的调度计划，获取分布式锁，调度计划包括处理任务和处理时间，分布式锁用于锁定处理任务只在调度节点执行。之后根据处理任务向批处理受理单元发送第一调用指令，第一调用指令中包括调度计划。本方法中，调度中心系统中的调度节点通过获取分布式锁，锁定处理任务只在该调度节点执行，使得与现有技术相比，能够确保业务数据只被处理一次，避免了多个批处理受理单元同时工作，导致业务数据被重复处理的问题，有效提高了业务数据处理的准确性。附图说明本文档来自技高网...

【技术保护点】
1.一种防重批量处理数据的方法，其特征在于，应用于调度中心系统中的调度节点中，所述方法包括：/n根据获取到的调度计划，获取分布式锁，所述调度计划包括处理任务和处理时间，所述分布式锁用于锁定所述处理任务只在所述调度节点执行；/n根据所述处理任务向批处理受理单元发送第一调用指令，所述第一调用指令中包括所述调度计划。/n

【技术特征摘要】
1.一种防重批量处理数据的方法，其特征在于，应用于调度中心系统中的调度节点中，所述方法包括：
根据获取到的调度计划，获取分布式锁，所述调度计划包括处理任务和处理时间，所述分布式锁用于锁定所述处理任务只在所述调度节点执行；
根据所述处理任务向批处理受理单元发送第一调用指令，所述第一调用指令中包括所述调度计划。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收所述批处理受理单元返回的执行结果；
或者，
在发送完所述第一调用指令后预设时长未接收到执行结果，则再次向所述批处理受理单元重新发送所述第一调用指令。


3.根据权利要求1或2所述的方法，其特征在于，所述根据获取到的调度计划，获取分布式锁，包括：
根据所述调度计划，从中间件或数据库服务器获取所述分布式锁；其中所述中间件包括Redis中间件或ZooKeeper中间件。


4.一种防重批量处理数据的方法，其特征在于，应用于批处理受理单元，所述方法包括：
接收调度中心系统中的调度节点发送的第一调用指令，所述第一调用指令包括调度计划，所述调度计划包括处理任务和处理时间；
根据所述第一调用指令，生成用于标记数据的第一线程号；
从数据库服务器中获取待处理的业务数据，并将所述第一线程号更新至所述数据库服务器中所述业务数据表中的所述业务数据对应的线程号字段；
根据所述处理时间和所述处理任务，对所述业务数据进行处理。


5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
在对所述业务数据处理完成后，将处理结果返回所述调度中心系统中的调度节点。


6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
接收所述调度中心系统的所述调度节点发送的第二调用指令，所述第二调用指令包括调度计划，所述调度计划包括处理任务和处理时间；
根据所述第二调用指令，生成用于标记数据的第二线程号；
从数据库服务器中获取线程号字段为空的待处理的新的业务数据，并将所述第二...

【专利技术属性】
技术研发人员：范世晔，刘杰，李泽，
申请(专利权)人：中国联合网络通信集团有限公司，联通支付有限公司，
类型：发明
国别省市：北京;11