本说明书公开了一种批量业务处理系统、方法及装置，调度节点根据批处理请求及预设的批处理步骤的有向无环图，确定批处理业务，再根据批处理业务及业务进度，确定批处理任务，并向执行节点发送任务执行请求，执行节点根据各处理单元的负载及各处理单元提供批处理服务，根据任务执行请求调用处理单元进行批处理，并根据处理单元返回的任务执行结果，确定执行状态，调度节点根据该执行状态重新确定业务进度以继续发送任务执行请求，直至批处理任务执行完毕。本系统通过预设的有向无环图确定批处理业务，因此仅需要向调度节点发送批处理请求，由调度节点确定批处理业务，并基于业务进度确定批处理任务，提高了效率。提高了效率。提高了效率。
【技术实现步骤摘要】
一种批量业务处理系统、方法及装置
[0001]本说明书涉及计算机
，尤其涉及一种批量业务处理系统、方法及装置。
技术介绍
[0002]目前，随着计算机技术的迅速发展，批处理系统因为资源利用率高和吞吐量大的特点被应用于越来越多的场景中，例如，信用卡的非实时性业务场景。
[0003]在现有技术中，一种常用的业务批处理系统是基于单体架构实现的，即，该批处理系统的各子系统集中在一个服务器上运行，由控制中心分配批处理业务。以执行一次批处理流程为例，首先，控制中心根据各需要进行批处理的业务生成业务文件。其次，根据各批处理业务之间的相互依赖关系以及生成的业务文件，预设各子系统运行的时间段，并将该预设的时间段发送给各子系统，以及确定各子系统在该批处理流程中执行的步骤，即，各子系统接收哪个子系统发送的业务文件，以及将业务文件批处理完后发送至哪个子系统，并将各子系统执行的步骤发送至各子系统。然后，各子系统根据接收到的预设执行的时间段和执行的步骤，对业务文件进行处理。直至该批处理流程完成。
[0004]但是，预设不同的时间点对业务进行处理，会导致业务执行的效率较低。
技术实现思路
[0005]本说明书提供一种批量业务处理系统、方法及装置，以部分的解决现有技术存在的上述问题。
[0006]本说明书采用下述技术方案：
[0007]本说明书提供了一种批量业务处理系统，包括：调度节点、执行节点以及应用服务集群，所述应用服务集群包含若干处理单元，各处理单元提供不完全相同的批处理服务；
[0008]所述调度节点，用于根据接收到的批处理请求，和预设的批处理业务步骤的有向无环图，确定待执行的批处理业务；根据业务进度以及所述批处理业务，确定批处理任务，以向所述执行节点发送任务执行请求；其中，所述待执行的批处理业务包含至少一个批处理任务；
[0009]所述执行节点，用于根据接收到的任务执行请求，获取业务数据集，并根据应用服务集群中各处理单元的负载、所述批处理任务以及所述业务数据集，调用所述应用服务集群中的处理单元，进行批处理；
[0010]所述应用服务集群的处理单元，用于接收所述执行节点的调用请求，根据所述调用请求以及自身提供的批处理服务对所述业务数据集进行批处理，生成所述业务数据集的任务执行结果，并将所述任务执行结果返回至所述执行节点，所述任务执行结果为所述业务数据集进行批处理后的结果；
[0011]所述执行节点，用于接收并存储所述任务执行结果，根据所述任务执行结果确定执行状态，将所述执行状态返回至所述调度节点；
[0012]所述调度节点，用于根据接收到的所述执行状态重新确定所述业务进度，根据重
新确定的所述业务进度，确定任务执行请求，并将确定出的任务执行请求发送至所述执行节点，使所述执行节点通过调用所述应用服务集群的处理单元继续进行批处理，直至所述待执行的批处理业务包含的批处理任务执行完毕为止。
[0013]可选地，所述执行节点，在启动时向所述调度节点发送注册请求；
[0014]所述调度节点，用于接收并存储所述执行节点发送的注册请求，根据所述注册请求存储所述执行节点的地址；并在确定出批处理任务后，根据已存储的执行节点的地址，向所述执行节点发送任务执行请求。
[0015]可选地，所述系统中包含多个执行节点；
[0016]所述调度节点，用于当确定出任务执行请求时，分别向所述执行节点发送第一负载查询请求；
[0017]所述各执行节点，用于根据所述接收到的第一负载查询请求，确定当前时刻自身负载状态，并返回所述调度节点；
[0018]所述调度节点，用于根据接收到的各执行节点分别返回的负载状态，向所述执行节点发送任务执行请求。
[0019]可选地，所述系统还包括：注册中心；
[0020]所述注册中心，用于针对应用集群中的每个处理单元，按照预设的间隔，向该处理单元轮询发送第二负载查询请求；
[0021]所述应用服务集群的每个处理单元，用于根据所述第二负载查询请求，确定当前时刻自身负载状态，并返回所述注册中心；
[0022]所述注册中心，用于根据接收到的各处理单元分别返回的负载状态，更新各处理单元的负载状态；
[0023]所述执行节点，用于当确定调用所述应用服务集群中的处理单元进行批处理时，从所述注册中心获取各处理单元的负载状态，并根据获取到的各处理单元的负载状态、所述业务数据集以及所述批处理任务，调用所述应用服务集群中的处理单元，进行批处理。
[0024]可选地，所述执行节点，用于根据所述批处理任务，从所述应用服务集群的各处理单元中，确定执行所述批处理任务所需调用的处理单元；当确定调用多个处理单元时，根据确定出的需要调用的各处理单元的负载，将所述业务数据集进行拆分，并根据拆分后的业务数据子集分别向各处理单元发送调用请求。
[0025]可选地，所述处理单元，用于根据所述调度请求向所述执行节点返回任务执行结果；
[0026]所述执行节点，用于根据所述调度请求和各处理单元返回的任务执行结果生成执行日志；
[0027]所述调度节点，用于当监测到所述执行节点发生故障时，根据所述执行节点生成的执行日志，确定所述批处理任务的剩余量，并根据所述批处理任务的剩余量，向其他执行节点发送任务执行请求。
[0028]本说明书还提供一种批量业务处理方法，包括：
[0029]接收批处理请求；
[0030]根据所述批处理请求，和预设的批处理业务步骤的有向无环图，确定待执行的批处理业务；
[0031]根据业务进度以及所述批处理业务，确定批处理任务，以向执行节点发送任务执行请求；
[0032]接收所述任务执行请求的执行状态；
[0033]根据接收到的所述执行状态重新确定所述业务进度，根据重新确定的所述业务进度，确定任务执行请求并发送至所述执行节点，直至所述待执行的批处理业务包含的批处理任务执行完毕为止。
[0034]本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述批量业务处理的方法。
[0035]本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述批量业务处理方法。
[0036]本说明书采用的上述至少一个技术方案能够达到以下有益效果：
[0037]本说明书提供的批量业务处理的系统中，调度节点根据批处理请求及预设的批处理步骤的有向无环图，确定批处理业务，再根据批处理业务及业务进度，确定批处理任务，并向执行节点发送任务执行请求，执行节点根据各处理单元的负载及各处理单元提供批处理服务，根据任务执行请求调用处理单元进行批处理，并根据处理单元返回的任务执行结果，确定执行状态，调度节点根据该执行状态重新确定业务进度以继续发送任务执行请求，直至批处理任务执行完毕。
[0038]从上述系统中可以看出，本系统通过预设的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种批量业务处理系统，其特征在于，所述系统包括：调度节点、执行节点以及应用服务集群，所述应用服务集群包含若干处理单元，各处理单元提供不完全相同的批处理服务；所述调度节点，用于根据接收到的批处理请求，和预设的批处理业务步骤的有向无环图，确定待执行的批处理业务；根据业务进度以及所述批处理业务，确定批处理任务，以向所述执行节点发送任务执行请求；其中，所述待执行的批处理业务包含至少一个批处理任务；所述执行节点，用于根据接收到的任务执行请求，获取业务数据集，并根据应用服务集群中各处理单元的负载、所述批处理任务以及所述业务数据集，调用所述应用服务集群中的处理单元，进行批处理；所述应用服务集群的处理单元，用于接收所述执行节点的调用请求，根据所述调用请求以及自身提供的批处理服务对所述业务数据集进行批处理，生成所述业务数据集的任务执行结果，并将所述任务执行结果返回至所述执行节点，所述任务执行结果为所述业务数据集进行批处理后的结果；所述执行节点，用于接收并存储所述任务执行结果，根据所述任务执行结果确定执行状态，将所述执行状态返回至所述调度节点；所述调度节点，用于根据接收到的所述执行状态重新确定所述业务进度，根据重新确定的所述业务进度，确定任务执行请求，并将确定出的任务执行请求发送至所述执行节点，使所述执行节点通过调用所述应用服务集群的处理单元继续进行批处理，直至所述待执行的批处理业务包含的批处理任务执行完毕为止。2.如权利要求1所述的系统，其特征在于，所述执行节点，在启动时向所述调度节点发送注册请求；所述调度节点，用于接收并存储所述执行节点发送的注册请求，根据所述注册请求存储所述执行节点的地址；并在确定出批处理任务后，根据已存储的执行节点的地址，向所述执行节点发送任务执行请求。3.如权利要求1所述的系统，其特征在于，所述系统中包含多个执行节点；所述调度节点，用于当确定出任务执行请求时，分别向所述执行节点发送第一负载查询请求；所述各执行节点，用于根据所述接收到的第一负载查询请求，确定当前时刻自身负载状态，并返回所述调度节点；所述调度节点，用于根据接收到的各执行节点分别返回的负载状态，向所述执行节点发送任务执行请求。4.如权利要求1所述的系统，其特征在于，所述系统还包括：注册中心；所述注册中心，用于针对应用集群中的每个处理单元，按照预设的间隔，向该处理单元轮询发送第二负载查询请求；所述应用服务集群的每个处理单元，用于根据所述第二负载查询请求，确定当前时刻自身负载状态，并返回所述注册中心；所述注册中心，用于根据接收到的各处理单元分别返回的负载状...
【专利技术属性】
技术研发人员：刘运飞，乔正，邹振宇，张文学，纪明林，崔炯，胡林，汤婷，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。