一种数据处理方法及装置制造方法及图纸

本申请实施例提供了一种数据处理方法及装置，可以利用任务拆分规则对待处理任务进行拆分，得到多个子任务，子任务具有任务紧急指数，体现子任务的紧急程度，根据子任务的任务紧急指数，将子任务分配至RabbitMQ中的多个任务队列中的至少一个，多个任务队列具有不同的优先级，任务队列的优先级根据任务队列的队列紧急指数和时间权重确定，队列紧急指数表征任务队列的紧急程度，时间权重根据任务队列中子任务的未被执行时长确定，任务队列的队列紧急指数与任务队列中的子任务的任务紧急指数匹配，这样，通过分布式结果订阅到RabbitMQ，根据多个任务队列的优先级，获取并执行这些子任务，提高子任务的执行效率，减少待处理任务的执行时间。

【技术实现步骤摘要】
一种数据处理方法及装置
本申请涉及计算机领域，尤其涉及一种数据处理方法及装置。
技术介绍
现阶段银行内部的任务通常利用顺序执行的方式，导致任务执行耗时较多，执行效率低下。尤其是对于数据量较大且复杂的任务而言，对于任务的各个方面进行顺序执行，需要长时间的占用同一台处理器，效率较低，一旦该处理器出现故障，则会导致整个任务执行失败。
技术实现思路
为了解决现有技术存在的上述技术问题，本申请提供了一种数据处理方法，提高了数据处理的效率以及可靠性。本申请提供了一种数据处理方法，包括：利用任务拆分规则对待处理任务进行拆分，得到多个子任务；所述多个子任务具有任务紧急指数；根据所述多个子任务的任务紧急指数，将所述多个子任务分配至RabbitMQ中的多个任务队列中的至少一个；所述多个任务队列具有不同的优先级；所述优先级根据所述任务队列的队列紧急指数和时间权重确定，所述队列紧急指数表征所述任务队列的紧急程度，所述时间权重根据所述任务队列中子任务的未被执行时长确定；所述任务队列的队列紧急指数与所述任务队列中的子任务的任务紧本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n利用任务拆分规则对待处理任务进行拆分，得到多个子任务；所述多个子任务具有任务紧急指数；/n根据所述多个子任务的任务紧急指数，将所述多个子任务分配至RabbitMQ中的多个任务队列中的至少一个；所述多个任务队列具有不同的优先级；所述优先级根据所述任务队列的队列紧急指数和时间权重确定，所述队列紧急指数表征所述任务队列的紧急程度，所述时间权重根据所述任务队列中子任务的未被执行时长确定；所述任务队列的队列紧急指数与所述任务队列中的子任务的任务紧急指数匹配；/n通过分布式节点订阅到RabbitMQ，根据所述多个任务队列的优先级，获取并执行所述多个子任务。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
利用任务拆分规则对待处理任务进行拆分，得到多个子任务；所述多个子任务具有任务紧急指数；
根据所述多个子任务的任务紧急指数，将所述多个子任务分配至RabbitMQ中的多个任务队列中的至少一个；所述多个任务队列具有不同的优先级；所述优先级根据所述任务队列的队列紧急指数和时间权重确定，所述队列紧急指数表征所述任务队列的紧急程度，所述时间权重根据所述任务队列中子任务的未被执行时长确定；所述任务队列的队列紧急指数与所述任务队列中的子任务的任务紧急指数匹配；
通过分布式节点订阅到RabbitMQ，根据所述多个任务队列的优先级，获取并执行所述多个子任务。


2.根据权利要求1所述的方法，其特征在于，所述多个子任务的任务信息以及任务状态存储在redis任务池中，所述任务状态包括未执行、正在执行、完成执行、执行错误中的一种。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在所述子任务的任务状态为执行错误时，将所述子任务重新分配至任务队列中进行执行。


4.根据权利要求1-3任意一项所述的方法，其特征在于，所述方法还包括：
在所述待处理任务的多个子任务均完成执行后，对所述多个子任务的执行结果进行归并，得到所述待处理任务的执行结果。


5.根据权利要求1-3任意一项所述的方法，其特征在于，所述方法还包括：
在所述待处理任务的多个子任务均完成执行后，根据所述多个子任务的执行时长以及耗费资源数，更新所述任务拆分规则。


6.一种数据处理装置，其特征在于，包括：

【专利技术属性】
技术研发人员：陈骜，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：北京;11