任务处理方法技术

本申请提供一种任务处理方法

【技术实现步骤摘要】
任务处理方法、装置、电子设备及存储介质


[0001]本申请涉及分布式领域，尤其涉及一种任务处理方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]分布式系统是一种中心化的调度系统，在分布式系统中，数据和计算被分成不同的小任务，通过负载均衡的调度系统和网络传输的方式在各个计算机节点上进行计算
、
存储和传输，以输出计算结果进行存储，并为外部提供服务
。
然而，在一些轻量级或者比较迫切的任务中，并不需要调度系统的大部分冗余功能
。
[0003]现有技术中，需要专门配置一台作业流服务器，即调度系统的客户端，用来对其他服务器进行管理和同步，还需要配置固定顺序的
、
特定格式的作业流流程以及调度系统的客户端和服务器之间的参数；具体的，调度系统的客户端按照配置好的作业流流程调用相应的参数执行规定的作业流进行任务调度，在客户端处理完规定的作业流后，返回消息给服务器，以使服务器更新整体作业流的进度，并指挥完成任务的客户端关闭服务
。
[0004]但是，上述整个调度系统均由一个中心
(
作业流服务器
)
来管理，当客户端的数量变更或者作业流变更时，需要修改客户端的配置和作业流流程，操作复杂，缺乏灵活性且不利于功能上的扩展
。

技术实现思路

[0005]本申请提供一种任务处理方法
、
装置
、
电子设备及存储介质，用以解决整个调度系统均由一个中心
(
作业流服务器
)
来管理，当客户端的数量变更或者作业流变更时，需要修改客户端的配置和作业流流程，操作复杂，缺乏灵活性且不利于功能上的扩展的问题
。
[0006]第一方面，本申请提供一种任务处理方法，应用于去中心化系统，所述去中心化系统包括多个服务器；所述方法包括：
[0007]针对每一服务器，从客户端中获取待处理任务以及所述待处理任务对应的输入数据，并从数据库中调用提前配置好的任务清单；所述任务清单包括多个待处理任务的处理动作和源数据地址；所述源数据地址用于指示处理所述待处理任务所需数据对应的存储地址；
[0008]基于所述任务清单验证所述输入数据是否正确；
[0009]若是，则基于所述输入数据从所述任务清单中查找对应的目标处理动作和目标地址，并基于所述目标处理动作和所述目标地址生成操作语句，基于所述操作语句对所述待处理任务进行处理；
[0010]若否，则基于所述输入数据生成提示信息，以提醒用户对所述输入数据进行修正
。
[0011]第二方面，本申请提供一种任务处理装置，应用于去中心化系统，所述去中心化系统包括多个服务器；所述装置包括：
[0012]获取模块，用于针对每一服务器，从客户端中获取待处理任务以及所述待处理任
务对应的输入数据，并从数据库中调用提前配置好的任务清单；所述任务清单包括多个待处理任务的处理动作和源数据地址；所述源数据地址用于指示处理所述待处理任务所需数据对应的存储地址；
[0013]验证模块，用于基于所述任务清单验证所述输入数据是否正确；
[0014]生成模块，用于当确定所述输入数据正确时，基于所述输入数据从所述任务清单中查找对应的目标处理动作和目标地址，并基于所述目标处理动作和所述目标地址生成操作语句，基于所述操作语句对所述待处理任务进行处理；
[0015]提示模块，用于当确定所述输入数据不正确时，基于所述输入数据生成提示信息，以提醒用户对所述输入数据进行修正
。
[0016]第三方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；
[0017]所述存储器存储计算机执行指令；
[0018]所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面中任一项所述的方法
。
[0019]第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面中任一项所述的方法
。
[0020]第五方面，本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如第一方面中任一项所述的方法
。
[0021]本申请提供的任务处理方法
、
装置
、
电子设备及存储介质，通过设计每个服务器独立运行，并结合数据库的任务清单核对待处理任务的正确性，进而根据任务清单的信息，生成操作语句，进一步的，执行该操作语句处理待处理任务；其中，任务清单为提前配置好的
、
根据待处理任务设计的文件清单，文件清单简单易懂；根据文件清单中的字段信息，可以组成操作语句处理待处理任务，当作业流变更或者需要功能扩展的时候，只需要维护数据库中的任务清单，简化操作流程，提高处理的灵活性
。
附图说明
[0022]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理
。
[0023]图1为一种现有的任务处理方法对应的结构示意图；
[0024]图2为本申请实施例提供的一种任务处理方法对应的结构示意图；
[0025]图3为本申请实施例提供的一种应用场景示意图；
[0026]图4为本申请实施例提供的一种任务处理方法的流程示意图；
[0027]图5为本申请实施例提供的一种任务处理装置的结构示意图；
[0028]图6为本申请实施例提供的一种电子设备的示意性框图
。
[0029]通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述
。
这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念
。
具体实施方式
[0030]这里将详细地对示例性实施例进行说明，其示例表示在附图中
。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素
。
以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式
。
相反，它们仅是与如所附权利要求书中所详述的
、
本申请的一些方面相一致的装置和方法的例子
。
[0031]需要说明的是，本申请所涉及的用户信息
(
包括但不限于用户设备信息
、
用户个人信息等
)
和数据
(
包括但不限于用于分析的数据
、
存储的数据
、
展示的数据等
)
，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集
、
使用和处理需要遵守相关法律法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种任务处理方法，其特征在于，应用于去中心化系统，所述去中心化系统包括多个服务器；所述方法包括：针对每一服务器，从客户端中获取待处理任务以及所述待处理任务对应的输入数据，并从数据库中调用提前配置好的任务清单；所述任务清单包括多个待处理任务的处理动作和源数据地址；所述源数据地址用于指示处理所述待处理任务所需数据对应的存储地址；基于所述任务清单验证所述输入数据是否正确；若是，则基于所述输入数据从所述任务清单中查找对应的目标处理动作和目标地址，并基于所述目标处理动作和所述目标地址生成操作语句，基于所述操作语句对所述待处理任务进行处理；若否，则基于所述输入数据生成提示信息，以提醒用户对所述输入数据进行修正
。2.
根据权利要求1所述的方法，其特征在于，所述输入数据包括任务文件名；所述任务清单还包括多个待处理任务的任务文件名；基于所述任务清单验证所述输入数据是否正确，包括：将待处理任务对应的所述任务文件名与所述任务清单中的任务文件名进行比对，以验证所述输入数据是否正确
。3.
根据权利要求1所述的方法，其特征在于，所述输入数据还包括动作描述信息和待处理数据；基于所述输入数据从所述任务清单中查找对应的目标处理动作和目标地址，并基于所述目标处理动作和所述目标地址生成操作语句，包括：基于所述动作描述信息和待处理数据从所述任务清单中查找对应的目标处理动作和目标地址；基于所述目标处理动作查找对应的目标处理模板，并将所述待处理数据
、
所述目标处理模板和所述目标地址进行组合，生成操作语句
。4.
根据权利要求1所述的方法，其特征在于，所述任务清单包括多个待处理任务的任务处理状态；所述方法还包括：在将所述待处理任务处理完毕后，更新所述待处理任务的任务处理状态；所述任务处理状态包括：未处理状态
、
正在处理状态和已处理状态；扫描所述任务清单中待处理任务的任务处理状态，并基于所述任务处理状态进行获取待处理任务，直至所述任务清单中待处理任务均被处理完毕
。5.
根据权利要求1所述的方法，其特征在于，所述方法还包括：获取服务器的数量以及所述任务清单中多个待处理任务对应的资源占用信息；将所述多个待处理任务...

【专利技术属性】
技术研发人员：彭丰华，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：