一种基于分布式任务调度系统的数据处理方法及装置制造方法及图纸

本申请提供了一种基于分布式任务调度系统的数据处理方法及装置，所述方法通过确定所述分片组的分片组标识；依据数据库标识对应的尾数数位范围以及所述分片组标识确定出对应于目标分片组标识的数据库标识的尾数；依据所述数据库标识中的尾数数值和所述数据库标识的尾数确定切片结果。本申请利用环形数据合理切片，把海量业务数据均匀分布到数据库集群的不同机器节点，解决了数据分配不均匀的问题，实现数据横向扩展，有效降低单台机器的访问负载，提高数据访问速度和并发量，提高了数据分配的合理性。配的合理性。配的合理性。

【技术实现步骤摘要】
一种基于分布式任务调度系统的数据处理方法及装置


[0001]本申请涉及数据切片
，特别是一种基于分布式任务调度系统的数据处理方法及装置。

技术介绍

[0002]目前解决海量数据推送处理，都是基于XXL
‑
JOB或者Elsatic
‑
Job分布式任务调度系统，通过堆加机器来实现。但是，这过程中暴露一个问题：在服务节点太少时，容易因为节点分布不均匀而造成数据倾斜。
[0003]XXL
‑
JOB或者Elsatic
‑
Job分布式任务调度系统采用的数据切分大多都是基于Hash算法Group＝Key％N来实现，求余数的算法，比较依赖要求余数key的分布，当这个key不是无序的时候，就容易出现数据集中一个节点，这种算法具有很强的概率性，容易造成数据倾斜，导致单节点分到的数据过多。由于上述原因，在海量数据的情况下，极大可能出现数据倾斜。

技术实现思路

[0004]鉴于所述问题，提出了本申请以便提供克服所述问题或者至少部分地解决所述问题的一种基于分布式任务调度系统的数据处理方法及装置，包括：
[0005]一种基于分布式任务调度系统的数据处理方法，所述方法应用于将数据库数据分配给分片组进行处理；
[0006]所述方法包括步骤：
[0007]确定所述分片组的分片组标识；
[0008]依据数据库标识对应的尾数数位范围以及所述分片组标识确定出对应于目标分片组标识的数据库标识的尾数；
[0009]依据所述数据库标识中的尾数数值和所述数据库标识的尾数确定切片结果。
[0010]进一步地，所述依据数据库标识对应的尾数数位范围以及所述分片组标识确定出对应于目标分片组标识的数据库标识的尾数的步骤，包括：
[0011]依据数据库标识对应的尾数数位范围以及所述分片组标识确定对应于所述目标分片组标识的起始分片数值；
[0012]依据所述起始分片数值和所述分片组标识确定对应于所述目标分片组标识的数据库标识的尾数。
[0013]进一步地，所述依据数据库标识对应的尾数数位范围以及所述分片组标识确定出对应于目标分片组标识的数据库标识的尾数的步骤，包括：
[0014]当所述数据库标识对应的尾数数位范围与所述分片组标识的最大商是非整数时，则将所述数据库标识对应的尾数数位范围的余数项放在最后一个所述分片组。
[0015]进一步地，所述依据所述数据库标识中的尾数数值和所述数据库标识的尾数确定切片结果的步骤，包括：
[0016]依据所述数据库标识的尾数字符串的指定字节数和所述数据库标识的尾数确定切片结果。
[0017]一种基于分布式任务调度系统的数据处理装置，所述装置应用于将数据库数据分配给分片组进行处理；
[0018]所述装置包括：
[0019]标识模块，用于确定所述分片组的分片组标识；
[0020]计算模块，用于依据数据库标识对应的尾数数位范围以及所述分片组标识确定出对应于目标分片组标识的数据库标识的尾数；
[0021]切片模块，用于依据所述数据库标识中的尾数数值和所述数据库标识的尾数确定切片结果。
[0022]进一步地，所述计算模块，包括：
[0023]起始分片数值确定子模块，用于依据数据库标识对应的尾数数位范围以及所述分片组标识确定对应于所述目标分片组标识的起始分片数值；
[0024]数据库标识尾数确定子模块，用于依据所述起始分片数值和所述分片组标识确定对应于所述目标分片组标识的数据库标识的尾数。
[0025]进一步地，所述计算模块，包括：
[0026]最大商确定子模块，用于当所述数据库标识对应的尾数数位范围与所述分片组标识的最大商是非整数时，则将所述数据库标识对应的尾数数位范围的余数项放在最后一个所述分片组。
[0027]进一步地，所述切片模块，包括：
[0028]函数计算子模块，用于依据所述数据库标识的尾数字符串的指定字节数和所述数据库标识的尾数确定切片结果。
[0029]一种计算机设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的一种基于分布式任务调度系统的数据处理方法的步骤。
[0030]一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的一种基于分布式任务调度系统的数据处理方法的步骤。
[0031]本申请具有以下优点：
[0032]在本申请的实施例中，通过确定所述分片组的分片组标识；依据数据库标识对应的尾数数位范围以及所述分片组标识确定出对应于目标分片组标识的数据库标识的尾数；依据所述数据库标识中的尾数数值和所述数据库标识的尾数确定切片结果。本申请利用环形数据合理切片，把海量业务数据均匀分布到数据库集群的不同机器节点，解决了数据分配不均匀的问题，实现数据横向扩展，有效降低单台机器的访问负载，提高数据访问速度和并发量，提高了数据分配的合理性。
附图说明
[0033]为了更清楚地说明本申请的技术方案，下面将对本申请的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域
普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0034]图1是本申请一实施例提供的一种基于分布式任务调度系统的数据处理方法的步骤流程图；
[0035]图2是本申请一实施例提供的在XXL
‑
JOB上配置任务分片的示意图；
[0036]图3是本申请一实施例提供的在XXL
‑
JOB上配置参数的示意图；
[0037]图4是本申请一实施例提供的步骤S120的示意图；
[0038]图5是本申请另一实施例提供的步骤S120的示意图；
[0039]图6是本申请一实施例提供的一种基于分布式任务调度系统的数据处理装置的结构框图；
[0040]图7是本专利技术一实施例提供的一种计算机设备的结构示意图。
具体实施方式
[0041]为使本申请的所述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0042]参照图1，示出了本申请一实施例提供的一种基于分布式任务调度系统的数据处理方法，所述方法应用于将数据库数据分配给分片组进行处理；
[0043]所述方法包括：
[0044]S110、确定所述分片组的分片组标识；
[0045]S120、依据数据库标识对应的尾数数位范围以及所述分片组标识确定出对应于目标分片组标识的数据库标识的尾数；
[0046本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式任务调度系统的数据处理方法，其特征在于，所述方法应用于将数据库数据分配给分片组进行处理；所述方法包括步骤：确定所述分片组的分片组标识；依据数据库标识对应的尾数数位范围以及所述分片组标识确定出对应于目标分片组标识的数据库标识的尾数；依据所述数据库标识中的尾数数值和所述数据库标识的尾数确定切片结果。2.根据权利要求1所述的方法，其特征在于，所述依据数据库标识对应的尾数数位范围以及所述分片组标识确定出对应于目标分片组标识的数据库标识的尾数的步骤，包括：依据数据库标识对应的尾数数位范围以及所述分片组标识确定对应于所述目标分片组标识的起始分片数值；依据所述起始分片数值和所述分片组标识确定对应于所述目标分片组标识的数据库标识的尾数。3.根据权利要求1所述的方法，其特征在于，所述依据数据库标识对应的尾数数位范围以及所述分片组标识确定出对应于目标分片组标识的数据库标识的尾数的步骤，包括：当所述数据库标识对应的尾数数位范围与所述分片组标识的最大商是非整数时，则将所述数据库标识对应的尾数数位范围的余数项放在最后一个所述分片组。4.根据权利要求1所述的方法，其特征在于，所述依据所述数据库标识中的尾数数值和所述数据库标识的尾数确定切片结果的步骤，包括：依据所述数据库标识的尾数字符串的指定字节数和所述数据库标识的尾数确定切片结果。5.一种基于分布式任务调度系统的数据处理装置，其特征在于，所述装置应用于将数据库数据分配给分片组进行处理；所述装置包括：标识...

【专利技术属性】
技术研发人员：李乃仁，窦康，欧阳勇勇，韩利强，
申请(专利权)人：深圳标普云科技有限公司，
类型：发明
国别省市：