一种任务均衡消费方法、系统及电子设备技术方案

本发明专利技术涉及数据处理领域，揭露一种任务均衡消费方法，包括：在预先构建的注册中心中部署服务节点并配置节点序列号；查询每个服务节点的待执行任务，计算所有服务节点的任务分发量；查询每个服务节点的当前负载总量，计算当前负载总量与任务分发量的当前差值；根据当前差值，计算待执行任务对应的哈希槽位，并识别哈希槽位与节点序列号之间的关联关系；根据关联关系，生成待执行任务与节点序列号的映射关系表；基于所述映射关系表，从服务节点确定待执行任务中每个任务对应的任务执行节点，并采用消息队列的方式将待执行任务分发至任务执行节点中，以对待执行任务进行任务处理，得到任务执行结果。本发明专利技术可以提高待执行任务的执行效率。行效率。行效率。

【技术实现步骤摘要】
一种任务均衡消费方法、系统及电子设备


[0001]本专利技术涉及数据处理领域，尤其涉及一种任务均衡消费方法、系统及电子设备。

技术介绍

[0002]任务均衡是指基于任务调度的负载均衡策略，通过将任务均衡的分配到资源节点上来实现各服务器间负载的相对均衡，从而降低任务占用资源的时间，以充分利用系统资源来实现任务的执行。
[0003]现有的任务均衡消费方法通常是采用多线程分发的方式将各个任务分发到对应的服务节点进行消费处理，但这种方式只是把下游消费服务进行均衡处理，而没有考虑到上游任务消费的服务能力，因此当任务中心随着业务的不断增加，会造成任务堵塞，容灾能力差甚至整个业务系统崩盘等问题，极大的降低了待执行任务的执行效率。

技术实现思路

[0004]本专利技术提供一种任务均衡消费方法、系统及电子设备，其主要目的在于提高待执行任务的执行效率。
[0005]为实现上述目的，本专利技术提供的一种任务均衡消费方法，包括：
[0006]在预先构建的注册中心中部署至少两个服务节点，并配置每个所述服务节点的节点序列号；
[0007]查询每个所述服务节点的待执行任务，根据所述待执行任务，计算每个所述服务节点的任务分发量；
[0008]查询每个所述服务节点的当前负载总量，计算每个所述服务节点的当前负载总量与所述任务分发量的当前差值；
[0009]根据所述当前差值，计算所述待执行任务对应的哈希槽位，并识别所述哈希槽位与所述节点序列号之间的关联关系；
[0010]根据所述关联关系，确定待执行任务与所述节点序列号的映射关系，以生成所述待执行任务与所述节点序列号的映射关系表；
[0011]基于所述映射关系表，从所述服务节点确定所述待执行任务中每个任务对应的任务执行节点，并采用消息队列的方式将所述待执行任务分发至所述任务执行节点中，以对所述待执行任务进行任务处理，得到任务执行结果。
[0012]可选地，所述在预先构建的注册中心中部署至少两个服务节点，包括：
[0013]在预先构建的注册中心中确定任务执行时的节点服务器和节点环境；
[0014]基于所述节点环境，构建所述节点服务器的网络拓扑位置，并基于所述网络拓扑位置，部署任务执行时的服务节点。
[0015]可选地，所述根据所述当前差值，计算所述待执行任务对应的哈希槽位，包括：
[0016]在所述当前差值大于预设阈值时，删减所述待执行任务对应的服务节点，得到删减节点，并根据所述删减节点，利用哈希槽算法，计算所述待执行任务对应的哈希槽位，得
到哈希槽位；
[0017]在所述当前差值不大于所述预设阈值时，增添所述待执行任务对应的服务节点，得到增添节点，并根据所述增添节点，利用哈希槽算法，计算所述待执行任务对应的哈希槽位，得到哈希槽位。
[0018]可选地，所述哈希槽算法，包括：
[0019]s＝crc16(key)％h
[0020]其中，s表示哈希槽位，crc16表示校验算法，key表示待执行任务的任务信息，h表示待执行任务对应删减节点或增添节点的当前负载总量，％表示求模符号。
[0021]可选地，所识根据所述关联关系，确定所述待执行任务与所述节点序列号的映射关系，包括：
[0022]利用下述公式计算所述待执行任务与所述节点序列号的映射关系：
[0023][0024]其中，g:T
→
N表示待执行任务集T与节点序列号集N的映射关系，t
j
表示待执行任务集中的第j个待执行任务，k表示节点序列号，if表示条件函数，s
j
表示第j个待执行任务对应的哈希槽位，q表示哈希槽位值，n
i
‑1表示节点序列号对应第i
‑
1个服务节点的当前负载总量，∑表示求和符号。
[0025]可选的，所述基于所述映射关系表，从所述服务节点确定所述待执行任务中每个任务对应的任务执行节点，包括：
[0026]基于所述映射关系表，查询所述待执行任务中每个任务对应的服务节点；
[0027]根据所述服务节点，查询所述服务节点的任务执行节点类型，将所述待执行任务中每个任务与所述任务执行节点类型进行匹配，得到匹配结果；
[0028]在匹配结果成功时，将所述待执行任务中每个任务分发到所述服务节点对应的类型匹配的任务执行节点中；
[0029]在匹配结果不成功时，计算所述待执行任务中每个任务与所述任务执行节点类型的键值信息之间的相似度，将所述相似度最大的所述任务执行节点，作为所述待执行任务中每个任务对应的任务执行节点。
[0030]可选地，所述采用消息队列的方式将所述待执行任务分发至所述任务执行节点中，包括：
[0031]配置所述待执行任务在所述消息队列与所述服务节点之间的分发方式；
[0032]配置所述待执行任务在所述消息队列与所述服务节点之间的分发路径；
[0033]根据所述分发方式和所述分发路径，将所述待执行任务分发至所述任务执行节点中。
[0034]可选地，所述配置所述待执行任务在所述消息队列与所述服务节点之间的分发方式，包括：
[0035]分别获取所述待执行任务在所述消息队列与所述服务节点的通信端口，以分别提取消息队列通信协议与服务节点通信协议；
[0036]识别所述消息队列通信协议与所述服务节点通信协议中的通信差异参数，利用通信协议单元，将所述通信差异参数转换成通信同步参数；
[0037]根据所述通信同步参数，生成所述消息队列与所述服务节点的同步协议，并将所述同步协议作为所述待执行任务在所述消息队列与所述服务节点之间的分发方式。
[0038]为了解决上述问题，本专利技术还提供一种任务均衡消费系统，所述系统包括：
[0039]服务节点部署模块，用于在预先构建的注册中心中部署至少两个服务节点，并配置每个所述服务节点的节点序列号；
[0040]任务分发量计算模块，用于查询每个所述服务节点的待执行任务，根据所述待执行任务，计算每个所述服务节点的任务分发量；
[0041]任务差值计算模块，用于查询每个所述服务节点的当前负载总量，计算每个所述服务节点的当前负载总量与所述任务分发量的当前差值；
[0042]关联关系识别模块，用于根据所述当前差值，计算所述待执行任务对应的哈希槽位，并识别所述哈希槽位与所述节点序列号之间的关联关系；
[0043]映射关系表生成模块，用于根据所述关联关系，确定待执行任务与所述节点序列号的映射关系，以生成所述待执行任务与所述节点序列号的映射关系表；
[0044]待执行任务处理模块，用于基于所述映射关系表，从所述服务节点确定所述待执行任务中每个任务对应的任务执行节点，并采用消息队列的方式将所述待执行任务分发至所述任务执行节点中，以对所述待执行任务进行任务处理，得到任务执行结果。
[0045]为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务均衡消费方法，其特征在于，所述方法包括：在预先构建的注册中心中部署至少两个服务节点，并配置每个所述服务节点的节点序列号；查询每个所述服务节点的待执行任务，根据所述待执行任务，计算每个所述服务节点的任务分发量；查询每个所述服务节点的当前负载总量，计算每个所述服务节点的当前负载总量与所述任务分发量的当前差值；根据所述当前差值，计算所述待执行任务对应的哈希槽位，并识别所述哈希槽位与所述节点序列号之间的关联关系；根据所述关联关系，确定待执行任务与所述节点序列号的映射关系，以生成所述待执行任务与所述节点序列号的映射关系表；基于所述映射关系表，从所述服务节点确定所述待执行任务中每个任务对应的任务执行节点，并采用消息队列的方式将所述待执行任务分发至所述任务执行节点中，以对所述待执行任务进行任务处理，得到任务执行结果。2.如权利要求1所述的任务均衡消费方法，其特征在于，所述在预先构建的注册中心中部署至少两个服务节点，包括：在预先构建的注册中心中确定任务执行时的节点服务器和节点环境；基于所述节点环境，构建所述节点服务器的网络拓扑位置，并基于所述网络拓扑位置，部署任务执行时的服务节点。3.如权利要求1所述的任务均衡消费方法，其特征在于，所述根据所述当前差值，计算所述待执行任务对应的哈希槽位，包括：在所述当前差值大于预设阈值时，删减所述待执行任务对应的服务节点，得到删减节点，并根据所述删减节点，利用哈希槽算法，计算所述待执行任务对应的哈希槽位，得到哈希槽位；在所述当前差值不大于所述预设阈值时，增添所述待执行任务对应的服务节点，得到增添节点，并根据所述增添节点，利用哈希槽算法，计算所述待执行任务对应的哈希槽位，得到哈希槽位。4.如权利要求3所述的任务均衡消费方法，其特征在于，所述哈希槽算法，包括：s＝crc16(key)％h其中，s表示哈希槽位，crc16表示校验算法，key表示待执行任务的任务信息，h表示待执行任务对应删减节点或增添节点的当前负载总量，％表示求模符号。5.如权利要求1所述的任务均衡消费方法，其特征在于，所述根据所述关联关系，确定所述待执行任务与所述节点序列号的映射关系，包括：利用下述公式计算所述待执行任务与所述节点序列号的映射关系：and n
i
‑1＝0and k≥0其中，g:T
→
N表示待执行任务集T与节点序列号集N的映射关系，t
j
表示待执行任务集中
的第j个待执行任务，k表示节点序列号，if表示条件函数，s
j
表示第j个待执行任务对应的哈希槽位表，q示哈希槽位值，n
i
‑1表示节点序列号对应第i
‑
1个服务节点的当前负载总量，∑表示求和符号。6.如权利要求1所述的任务均衡消费方法，其特征在于，所述基于所述映射关系表，从所述服务节点确定所述待执行任务中每个任务对...

【专利技术属性】
技术研发人员：金磊，欧弘涛，
申请(专利权)人：深圳市易仓科技有限公司，
类型：发明
国别省市：