数据处理方法及其装置、电子设备和介质制造方法及图纸

本公开提供了一种用于服务器集群的数据处理方法，服务器集群包括多个服务器，多个服务器共享数据存储空间，方法包括：接收来自客户端的处理请求，处理请求用于指示处理批量数据；分解批量数据，以得到多个待处理子任务；基于数据存储空间存储的各服务器的资源占用情况，确定服务器集群中的目标服务器；以及将待处理子任务分配给目标服务器，以使目标服务器处理待处理子任务。本公开还提供了一种用于服务器集群的数据处理装置，一种电子设备以及一种计算机可读存储介质。

Data processing methods and their devices, electronic equipment and media

The invention provides a data processing method for a server cluster, which comprises a plurality of servers, and a plurality of servers share a data storage space, and the method comprises: receiving a processing request from a client, processing the request for indicating the processing of batch data; decomposing the batch data to obtain a plurality of sub tasks to be processed; various services based on data storage space storage Determine the target server in the server cluster, and assign the pending subtasks to the target server so that the target server can process the pending subtasks. The invention also provides a data processing device for a server cluster, an electronic device and a computer-readable storage medium.

【技术实现步骤摘要】
数据处理方法及其装置、电子设备和介质
本公开涉及计算机
，特别是涉及一种数据处理方法及其装置、电子设备和介质。
技术介绍
在现代企业的融资需求中，往往存在着要求银行批量放款且需要实时到账的业务场景。例如批量发票融资、订单融资、应收账款池融资等，都需保证该批次融资数据要么都放款成功、要么都放款失败，以防止批次账务处理产生混乱。针对上述业务场景，相关技术提供了实现批量放款且实时到账的解决方案，例如批量联机放款或者晚间批量放款。但是，在处理批量放款过程中，至少存在以下技术问题。例如，大批量融资数据上送给核算系统，通过循环调用上送接口的批量联机放款方式，导致调用方、接受方系统资源被大量占用，易形成集中地区交易热点，导致产生系统性能问题，进而影响其他业务功能的办理，且循环上送多笔融资纪录信息到核算系统，网关传输易发生数据丢失或超时。又例如，晚间批量发放的实时性不够，无法满足客户的融资需求，且无法进行业务系统和核算系统之间数据的联机校验，发生差错的概率性高，并且无法及时纠正差错，降低银行的市场竞争力，易流失客户。
技术实现思路
有鉴于此，为了解决现有技术在处理批量放款过程中，出现的系统性能问题、集中交易地区热点、放款实时性不够、易发生差错等问题。本公开提供了一种用于服务器集群的数据处理方法及其装置，电子设备及介质，以解决目前在处理批量放款时，通过循环调用上送接口的批量联机放款方式，导致调用方、接受方系统资源被大量占用，易形成集中地区交易热点，导致产生系统性能问题，以及晚间批量发放的实时性不够，无法满足客户的融资需求，且无法进行业务系统和核算系统之间数据的联机校验，发生差错的概率性高，并且无法及时纠正差错的技术问题，为融资需求提供一种保证批量放款一致性，减轻调用方、接受方系统的批量压力的解决。为实现上述目的，本公开的一个方面提供了一种用于服务器集群的数据处理方法，上述服务器集群包括多个服务器，上述多个服务器共享数据存储空间，上述方法包括：接收来自客户端的处理请求，上述处理请求用于指示处理批量数据，分解上述批量数据，以得到多个待处理子任务，基于上述数据存储空间存储的各服务器的资源占用情况，确定上述服务器集群中的目标服务器，以及将上述待处理子任务分配给上述目标服务器，以使上述目标服务器处理上述待处理子任务。根据本公开的实施例，上述分解上述批量数据，以得到多个待处理子任务包括：获取上述批量数据的数据量和上述批量数据中各条数据的标识，针对上述集群服务器，获取数据处理的数据量限额，基于上述批量数据的数据量和上述数据量限额，确定待处理子任务的数量，以及按照上述待处理子任务的数量，分解上述批量数据中各条数据的标识，以得到多个待处理子任务。根据本公开的实施例，上述方法还包括：将上述多个待处理子任务存储在上述上述数据存储空间。根据本公开的实施例，上述基于上述数据存储空间存储的各服务器的资源占用情况，确定上述服务器集群中的目标服务器包括：针对每个待处理子任务，获取上述待处理子任务的处理状态，基于上述处理状态，获取上述数据存储空间存储的各服务器的资源占用情况，以及基于上述各服务器的资源占用情况，从上述服务器集群中选择资源占用情况符合预设规则的目标服务器。根据本公开的实施例，上述处理状态包括以下至少之一：等待状态，运行状态，完成状态。根据本公开的实施例，上述方法还包括：在上述待处理子任务的处理状态发生改变的情况下，更新上述待处理子任务的处理状态。根据本公开的实施例，上述方法还包括：针对每个待处理子任务，获取对应分配的目标服务器的标识信息，以及将上述目标服务器的标识信息存储在上述上述数据存储空间。根据本公开的实施例，上述方法还包括：基于上述目标服务器的标识信息，从上述数据存储空间读取分配到上述目标服务器的待处理子任务，在上述待处理子任务处理完成后，控制上述目标服务器处于中断状态，以及在上述中断状态达到预设时长后，再次从上述数据存储空间读取分配到上述目标服务器的待处理子任务。根据本公开的实施例，上述分解上述批量数据包括：检测上述批量数据是否符合分解条件，以及在上述批量数据符合上述分解条件的情况下，分解上述批量数据。为实现上述目的，本公开的另一个方面提供了一种用于服务器集群的数据处理装置，上述服务器集群包括多个服务器，上述多个服务器共享数据存储空间，上述装置包括：接收模块，被配置为接收来自客户端的处理请求，上述处理请求用于指示处理批量数据，分解模块，被配置为分解上述批量数据，以得到多个待处理子任务，确定模块，被配置为基于上述数据存储空间存储的各服务器的资源占用情况，确定目标服务器，以及分配模块，被配置为将上述待处理子任务分配给上述目标服务器，以使上述目标服务器处理上述待处理子任务。根据本公开的实施例，上述分解模块包括：第一获取子模块，被配置为获取上述批量数据的数据量和上述批量数据中各条数据的标识，第二获取子模块，被配置为针对上述集群服务器，获取数据处理的数据量限额，确定子模块，被配置为基于上述批量数据的数据量和上述数据量限额，确定待处理子任务的数量，以及第一分解子模块，被配置为按照上述待处理子任务的数量，分解上述批量数据中各条数据的标识，以得到多个待处理子任务。根据本公开的实施例，上述装置还包括：第一存储模块，被配置为将上述多个待处理子任务存储在上述上述数据存储空间。根据本公开的实施例，上述确定模块包括：第三获取子模块，被配置为针对每个待处理子任务，获取上述待处理子任务的处理状态，第四获取子模块，被配置为基于上述处理状态，获取上述数据存储空间存储的各服务器的资源占用情况，以及选取子模块，被配置为基于上述各服务器的资源占用情况，从上述服务器集群中选择资源占用情况符合预设规则的目标服务器。根据本公开的实施例，上述处理状态包括以下至少之一：等待状态，运行状态，完成状态。根据本公开的实施例，上述装置还包括：更新子模块，被配置为在上述待处理子任务的处理状态发生改变的情况下，更新上述待处理子任务的处理状态。根据本公开的实施例，上述装置还包括：获取模块，被配置为针对每个待处理子任务，获取对应分配的目标服务器的标识信息，以及第二存储模块，被配置为将上述目标服务器的标识信息存储在上述上述数据存储空间。根据本公开的实施例，上述方法还包括：第一读取模块，被配置为基于上述目标服务器的标识信息，从上述数据存储空间读取分配到上述目标服务器的待处理子任务，控制模块，被配置为在上述待处理子任务处理完成后，控制上述目标服务器处于中断状态，以及第二读取模块，被配置为在上述中断状态达到预设时长后，再次从上述数据存储空间读取分配到上述目标服务器的待处理子任务。根据本公开的实施例，上述分解模块包括：检测子模块，被配置为检测上述批量数据是否符合分解条件，以及第二分解子模块，被配置为在上述批量数据符合上述分解条件的情况下，分解上述批量数据。为实现上述目的，本公开的另一方面提供了一种电子设备，包括：一个或多个处理器，存储器，用于存储一个或多个程序，其中，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如上所述的方法。为实现上述目的，本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，上述指令在被执行时用于实现如上所述的方法。为实本文档来自技高网...

【技术保护点】
1.一种用于服务器集群的数据处理方法，所述服务器集群包括多个服务器，所述多个服务器共享数据存储空间，所述方法包括：接收来自客户端的处理请求，所述处理请求用于指示处理批量数据；分解所述批量数据，以得到多个待处理子任务；基于所述数据存储空间存储的各服务器的资源占用情况，确定所述服务器集群中的目标服务器；以及将所述待处理子任务分配给所述目标服务器，以使所述目标服务器处理所述待处理子任务。

【技术特征摘要】
1.一种用于服务器集群的数据处理方法，所述服务器集群包括多个服务器，所述多个服务器共享数据存储空间，所述方法包括：接收来自客户端的处理请求，所述处理请求用于指示处理批量数据；分解所述批量数据，以得到多个待处理子任务；基于所述数据存储空间存储的各服务器的资源占用情况，确定所述服务器集群中的目标服务器；以及将所述待处理子任务分配给所述目标服务器，以使所述目标服务器处理所述待处理子任务。2.根据权利要求1所述的方法，其中，所述分解所述批量数据，以得到多个待处理子任务包括：获取所述批量数据的数据量和所述批量数据中各条数据的标识；针对所述集群服务器，获取数据处理的数据量限额；基于所述批量数据的数据量和所述数据量限额，确定待处理子任务的数量；以及按照所述待处理子任务的数量，分解所述批量数据中各条数据的标识，以得到多个待处理子任务。3.根据权利要求1所述的方法，其中，所述方法还包括：将所述多个待处理子任务存储在所述所述数据存储空间。4.根据权利要求1所述的方法，其中，所述基于所述数据存储空间存储的各服务器的资源占用情况，确定所述服务器集群中的目标服务器包括：针对每个待处理子任务，获取所述待处理子任务的处理状态；基于所述处理状态，获取所述数据存储空间存储的各服务器的资源占用情况；以及基于所述各服务器的资源占用情况，从所述服务器集群中选择资源占用情况符合预设规则的目标服务器。5.根据权利要求1所述的方法，其中，所述处理状态包括以下至少之一：等待状态；运行状态；完成状态。6.根据权利要求4所述的方法，其中，所述方法还包括：在所述待处理子任务的处理状态发生改变的情况下，更新所述待处理子任...

【专利技术属性】
技术研发人员：张立君，王大猷，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京,11