数据处理方法、装置、计算机设备及存储介质制造方法及图纸

本申请实施例提供一种数据处理方法、装置、计算机设备及存储介质，所述方法包括：利用第一层服务器接收待处理的数据处理任务，并将所述数据处理任务拆分为多个子任务分发至多个第二层服务器；通过所述第二层服务器从数据库中加载所述子任务，并将各个子任务的身份标记分发到第三层服务器；由所述第三层服务器根据所述子任务的身份标记从所述数据库中加载相应的数据处理任务并执行。该技术方案，构建了三层分发异步任务处理架构，可以充分利用服务器集群的处理资源，将耗时耗资源的数据处理任务分解成子任务进行快速处理，提高了大量耗时高的数据处理任务的处理效率，避免了大量阻塞，降低服务器压力。

【技术实现步骤摘要】
数据处理方法、装置、计算机设备及存储介质
本申请涉及数据处理
，具体而言，本申请涉及一种数据处理方法和装置，以及一种计算机设备及计算机可读存储介质。
技术介绍
随着计算机技术发展，大数据处理能力愈发重要，在数据库处理业务中，经常会遇到这样的场景，即短时间内有大量数据处理请求涌入服务器系统，而这些数据处理请求会触发一些耗时较高的数据更新操作，事实上这些操作往往对实时性要求不高，如果直接以同步的方式去处理这些数据处理请求，则会导致大量数据处理请求等待或者阻塞，而采用限流措施又会导致大量请求被拦截，导致服务不可用；如果采用异步的方式去处理这些数据处理请求，则会导致线程池打满、CPU高负载，严重时甚至导致服务器系统瘫痪。由此可见，常规的同步或异步数据处理方式，在处理大量的数据处理请求任务时容易导致请求大量阻塞和服务器压力过大的缺陷。
技术实现思路
为了解决上述技术缺陷之一，本申请提供了一种数据处理方法和装置，以及一种计算机设备及计算机可读存储介质，以提高数据处理任务的处理效率，避免阻塞和降低服务器压力。该技术方本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括如下步骤：/n利用第一层服务器接收待处理的数据处理任务，并将所述数据处理任务拆分为多个子任务分发至多个第二层服务器；/n通过所述第二层服务器从数据库中加载所述子任务，并将各个子任务的数据库唯一键信息分发到第三层服务器；/n由所述第三层服务器根据所述子任务的数据库唯一键信息从所述数据库中加载相应的数据处理任务并执行。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括如下步骤：
利用第一层服务器接收待处理的数据处理任务，并将所述数据处理任务拆分为多个子任务分发至多个第二层服务器；
通过所述第二层服务器从数据库中加载所述子任务，并将各个子任务的数据库唯一键信息分发到第三层服务器；
由所述第三层服务器根据所述子任务的数据库唯一键信息从所述数据库中加载相应的数据处理任务并执行。


2.根据权利要求1所述的方法，其特征在于，利用第一层服务器接收待处理的数据处理任务，包括：
利用第一层服务器接收定时任务服务器定时触发任务而发送的处理任务通知消息；并根据所述处理任务通知消息确定计划处理的数据处理任务。


3.根据权利要求1所述的方法，其特征在于，将所述数据处理任务拆分为多个子任务分发至多个第二层服务器，包括：
根据实际业务需求确定需要执行的目标数据处理任务，依据任务类型将所述目标数据处理任务拆分为多个子任务分发至多个第二层服务器。


4.根据权利要求1所述的方法，其特征在于，所述数据处理任务的任务模型包括：任务身份标记、任务类型、任务关联内容的主键身份标记和任务状态；
其中，所述任务状态标记为初始态、执行态或完成态。


5.根据权利要求1至4任一项所述的方法，其特征在于，通过所述第二层服务器从数据库中加载所述子任务，并将各个子任务的身份标记分发到第三层服务器，包括：
通过所述第二层服务器从数据库中查找所述子任务，读取所述子任务的任务状态；
加载任务状态标记为初始态的子任务，读取各个子任务的任务身份标记，将任务身份标记分发到多个第三层服务器。


6.根据权利要求5所述的方法，其特征在于，由所述第三层服务器根据所述子任务的身份标记从所述数据库中加载相应的数据处理任务并执行，包括：
由所述第三层服务器依据所接收的子任务的任务身份标记，从所述数据库中加载任务状态标记为初始态的数据处理任务；
将所述数据处理任务的任务状态置为执行状态，并放入异步线程...

【专利技术属性】
技术研发人员：高春旭，周坤，
申请(专利权)人：浙江口碑网络技术有限公司，
类型：发明
国别省市：浙江;33