【技术实现步骤摘要】
数据处理方法、装置、终端设备及存储介质
本申请属于大数据
，尤其涉及一种数据处理方法、装置、终端设备及存储介质。
技术介绍
现有技术中，通常使用分布式数据处理系统来执行大批量的数据处理。然而，现有的分布式数据处理系统中，若直接由分布式数据处理系统向各个服务器分发全部的待处理数据，则将增加分布式数据处理系统中各个服务器的处理压力。若将数据分为多个部分分别发送给各个服务器，则在每个部分的数据规模分布不均匀，或者，服务器处理性能存在差别时，将会产生服务器资源无法充分利用的问题。
技术实现思路
本申请实施例提供了一种数据处理方法、装置、终端设备及存储介质，可以解决将大量的数据分别发送给多个服务器进行处理时，不能充分利用服务器资源的问题。第一方面，本申请实施例提供了一种数据处理方法，包括：将主节点服务器中预置的多个数据提取规则，发送至消息队列中的多个消息分区，其中，每个消息分区接收到的数据提取规则不同，所述每个消息分区分别对应一个分节点服务器；获取数据库中多个待处理数据的数据ID；
【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n将主节点服务器中预置的多个数据提取规则，发送至消息队列中的多个消息分区，其中，每个消息分区接收到的数据提取规则不同，所述每个消息分区分别对应一个分节点服务器；/n获取数据库中多个待处理数据的数据ID；/n针对任一消息分区，通过所述消息分区对应的分节点服务器，从所述数据库中提取所述数据ID符合已接收到的所述数据提取规则的待处理数据并对所述待处理数据进行处理；/n当所述任一消息分区对应的所述分节点服务器发生故障时，确定故障消息分区中未执行的数据提取规则；/n根据再平衡策略，将所述未执行的数据提取规则分别分配至处于正常状态的分节点服务器...
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
将主节点服务器中预置的多个数据提取规则，发送至消息队列中的多个消息分区，其中，每个消息分区接收到的数据提取规则不同，所述每个消息分区分别对应一个分节点服务器；
获取数据库中多个待处理数据的数据ID；
针对任一消息分区，通过所述消息分区对应的分节点服务器，从所述数据库中提取所述数据ID符合已接收到的所述数据提取规则的待处理数据并对所述待处理数据进行处理；
当所述任一消息分区对应的所述分节点服务器发生故障时，确定故障消息分区中未执行的数据提取规则；
根据再平衡策略，将所述未执行的数据提取规则分别分配至处于正常状态的分节点服务器对应的消息分区中，以使每个所述正常状态的分节点服务器分别执行完各自对应的消息分区中所有未执行的数据提取规则的时间一致。
2.如权利要求1所述的数据处理方法，其特征在于，所述将主节点服务器中预置的多个数据提取规则，发送至消息队列中的多个消息分区，包括：
统计所述多个数据提取规则的规则数量，以及所述多个消息分区的分区数量；
根据所述规则数量以及所述分区数量，将所述多个数据提取规则平均分配至每个消息分区中。
3.如权利要求1或2所述的数据处理方法，其特征在于，所述根据再平衡策略，将所述未执行的数据提取规则分别分配至处于正常状态的分节点服务器对应的消息分区中，包括：
获取所述故障消息分区中未执行的数据提取规则的第一数量，以及分别获取每个所述正常状态的消息分区中的未执行的数据提取规则的第二数量；
根据所述第一数量和所述第二数量，将所述故障消息分区中未执行的数据提取规则分配至所述正常状态的消息分区中。
4.如权利要求3所述的数据处理方法，其特征在于，所述根据所述第一数量和所述第二数量，将所述故障消息分区中未执行的数据提取规则分配至所述正常状态的消息分区中，包括：
分别获取预设时间段内，所述正常状态的消息分区中数据提取规则的已执行数量；
根据所述已执行数量和所述预设时间段，分别计算所述正常状态的消息分区对应的分节点服务器的工作效率；
分别根据所述第一数量、所述第二数量和所述工作效率，将所述故障消息分区中未执行的数据提取规则分配至所述正常状态的消息分区中，以使得每个所述正常状态的分节点服务器分别执行完各自对应的消息分区中所有未执行的数据提取规则的时间一致。
5.如权利要求3所述的数据处理方法，其特征在于，所述根据所述第一数量和所述第二数量，将所述故障消息分区中未执行的数据提取规则分配至所述正常状态的消息分区中，包括：
计算所述第一数量和所有所述第二数量之间的总值；
根据所述总值以及所述正常状态的消息分区的数量，计算每个所述正常状态的消息分区对应的分节点服务器应执行的数据提取规则的执行数量；
根据所述第一数量、所述第二数量和所述执行数量，对所述故障消息分区中未执行...
【专利技术属性】
技术研发人员：刘根生，
申请(专利权)人：深圳壹账通智能科技有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。