处理节点确定方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:34644097 阅读:10 留言:0更新日期:2022-08-24 15:20
本申请涉及一种处理节点确定方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:获取待传输数据的下一处理环节对应的各数组单元的数组编号,下一处理环节包括多个待选择处理节点;从各数组编号中,确定待传输数据的目标参数对应的目标数组编号;基于各待选择处理节点的节点索引与各数组编号之间的对应关系,确定目标数组编号对应的目标节点索引,对应关系根据各待选择处理节点的负载确定,目标节点索引用于唯一指示用于处理待传输数据的目标处理节点。采用本方法能够避免同一个处理环节的不同核之间负载不均的问题,从而提升整机吞吐率,并提高带宽利用率。并提高带宽利用率。并提高带宽利用率。

【技术实现步骤摘要】
处理节点确定方法、装置、计算机设备和存储介质


[0001]本申请涉及互联网
,特别是涉及一种处理节点确定方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着互联网技术的发展,在网络功能虚拟化(Network Function Virtualization,NFV)场景下,基于多级流水线处理结构(pipeline)架构的包处理模型传输数据的过程中,在数据完成当前处理环节,并要往下一处理环节投递的时候,使用该数据的五元组哈希值直接对下一处理环节的中央处理器(central processing unit,CPU)核的数目取模,应理解,一个CPU核对应一个实例,即CPU核的数目为实例的数目,基于此,得到的取模结果便是下一环节具体负责处理该数据的CPU核的索引。然而,如果不同流之间的数据速率不一样,会导致同一个处理环节的不同核之间负载不均。因此,如何避免核间负载不均是亟需解决的问题。

技术实现思路

[0003]基于此,有必要针对上述技术问题,提供一种能够避免核间负载不均的处理节点确定方法、装置、计算机设备和存储介质。
[0004]第一方面,本申请提供了一种处理节点确定方法。所述方法包括:
[0005]获取待传输数据的下一处理环节对应的各数组单元的数组编号,下一处理环节包括多个待选择处理节点;
[0006]从各数组编号中,确定待传输数据的目标参数对应的目标数组编号;
[0007]基于各待选择处理节点的节点索引与各数组编号之间的对应关系,确定目标数组编号对应的目标节点索引,对应关系根据各待选择处理节点的负载确定,目标节点索引用于唯一指示用于处理待传输数据的目标处理节点。
[0008]在其中一个实施例中,方法还包括:
[0009]获取各待选择处理节点的最大处理负载,并计算各待选择处理节点的最大处理负载之间的最大负载比例;
[0010]基于最大负载比例,确定各待选择处理节点的节点索引数量的数量比例;
[0011]基于数量比例,生成各节点索引与各数组编号之间的对应关系
[0012]在其中一个实施例中,方法还包括:
[0013]获取各待选择处理节点的报文处理速率,并基于各报文处理速率,计算各待选择处理节点的处理负载之间的负载比例,负载比例用于描述各待选择处理节点的处理负载之间的差距;
[0014]基于负载比例,确定各数组编号与各节点索引之间的对应关系。
[0015]在其中一个实施例中,基于负载比例,确定各数组编号与各节点索引之间的对应关系,包括:
[0016]若负载比例大于或等于最大比例阈值,基于负载比例确定第一待选择处理节点以及第二待选择处理节点,第一待选择处理节点为各待选择处理节点中处理负载最大的待选择处理节点,第二待选择处理节点为各待选择处理节点中处理负载最小的待选择处理节点;
[0017]减少第一待选择处理节点的节点索引数量,并基于减少后的第一待选择处理节点的节点索引数量,调整第一待选择处理节点的节点索引与各数组编号之间的对应关系;
[0018]增加第二待选择处理节点的节点索引数量,并基于增加后的第二待选择处理节点的节点索引数量,调整第二待选择处理节点的节点索引与各数组编号之间的对应关系。
[0019]在其中一个实施例中,待传输数据为属于目标业务的业务数据,且待传输数据在目标业务的各业务数据中的传输顺序为预设传输顺序;
[0020]待传输数据还包括报文序号信息,报文序号信息包括第一取模数值以及报文顺序标识,第一取模数值是基于目标参数对目标业务的第一个处理环节对应的各数组单元的数量求模得到的,报文顺序标识是基于第一取模数值进行逐包增加处理得到的。
[0021]在其中一个实施例中,在调整各节点索引与各数组编号之间的对应关系后,方法还包括:
[0022]若目标数组编号所指示的目标数组单元为调整过对应关系的数组单元,对待传输数据进行标记处理;
[0023]在目标业务的最后一个处理环节对待传输数据处理结束后,将进行标记处理后的待传输数据,分配至第一取模数值对应的第一排序域,第一排序域包括携带第一取模数值的各第一业务数据;
[0024]在第一排序域中,基于各第一业务数据的报文顺序标识进行重新排序处理,重新排序处理后的待传输数据,在重新排序处理后的各第一业务数据中的顺序为预设传输顺序。
[0025]在其中一个实施例中,目标参数为五元组哈希值;
[0026]从各数组编号中确定,待传输数据的目标参数对应的目标数组编号,包括:
[0027]对五元组哈希值进行取模处理,得到取模后的五元组哈希值;
[0028]通过取模后的五元组哈希值,从各数组编号中确定目标数组编号。
[0029]第二方面,本申请还提供了一种处理节点确定装置。所述装置包括:
[0030]获取模块,用于获取待传输数据的下一处理环节对应的各数组单元的数组编号,下一处理环节包括多个待选择处理节点;
[0031]确定模块,用于从各数组编号中,确定待传输数据的目标参数对应的目标数组编号;并基于各待选择处理节点的节点索引与各数组编号之间的对应关系,确定目标数组编号对应的目标节点索引,对应关系根据各待选择处理节点的负载确定,目标节点索引用于唯一指示用于处理待传输数据的目标处理节点。
[0032]第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
[0033]获取待传输数据的下一处理环节对应的各数组单元的数组编号,下一处理环节包括多个待选择处理节点;
[0034]从各数组编号中,确定待传输数据的目标参数对应的目标数组编号;
[0035]基于各待选择处理节点的节点索引与各数组编号之间的对应关系,确定目标数组编号对应的目标节点索引,对应关系根据各待选择处理节点的负载确定,目标节点索引用于唯一指示用于处理待传输数据的目标处理节点。
[0036]第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
[0037]获取待传输数据的下一处理环节对应的各数组单元的数组编号,下一处理环节包括多个待选择处理节点;
[0038]从各数组编号中,确定待传输数据的目标参数对应的目标数组编号;
[0039]基于各待选择处理节点的节点索引与各数组编号之间的对应关系,确定目标数组编号对应的目标节点索引,对应关系根据各待选择处理节点的负载确定,目标节点索引用于唯一指示用于处理待传输数据的目标处理节点。
[0040]第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
[0041]获取待传输数据的下一处理环节对应的各数组单元的数组编号,下一处理环节包括多个待选择处理节点;
[0042]从本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种处理节点确定方法,其特征在于,所述方法包括:获取待传输数据的下一处理环节对应的各数组单元的数组编号,所述下一处理环节包括多个待选择处理节点;从各所述数组编号中,确定所述待传输数据的目标参数对应的目标数组编号;基于各所述待选择处理节点的节点索引与各所述数组编号之间的对应关系,确定所述目标数组编号对应的目标节点索引,所述对应关系根据各所述待选择处理节点的负载确定,所述目标节点索引用于唯一指示用于处理所述待传输数据的目标处理节点。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:获取各所述待选择处理节点的最大处理负载,并计算各所述待选择处理节点的最大处理负载之间的最大负载比例;基于所述最大负载比例,确定各所述待选择处理节点的节点索引数量的数量比例;基于所述数量比例,生成各所述节点索引与各所述数组编号之间的对应关系。3.根据权利要求1所述的方法,其特征在于,所述方法还包括:获取各所述待选择处理节点的报文处理速率,并基于各所述报文处理速率,计算各所述待选择处理节点的处理负载之间的负载比例,所述负载比例用于描述各所述待选择处理节点的处理负载之间的差距;基于所述负载比例,确定各所述数组编号与各所述节点索引之间的对应关系。4.根据权利要求3所述的方法,其特征在于,所述基于所述负载比例,确定各所述数组编号与各所述节点索引之间的对应关系,包括:若所述负载比例大于或等于最大比例阈值,基于所述负载比例确定第一待选择处理节点以及第二待选择处理节点,所述第一待选择处理节点为各所述待选择处理节点中处理负载最大的待选择处理节点,所述第二待选择处理节点为各所述待选择处理节点中处理负载最小的待选择处理节点;减少所述第一待选择处理节点的节点索引数量,并基于减少后的所述第一待选择处理节点的节点索引数量,调整所述第一待选择处理节点的节点索引与各所述数组编号之间的对应关系;增加所述第二待选择处理节点的节点索引数量,并基于增加后的所述第二待选择处理节点的节点索引数量,调整所述第二待选择处理节点的节点索引与各所述数组编号之间的对应关系。5.根据权利要求4所述的方法,其特征在于,所述待传输数据为属于目标业务的业务数据,且所述待传输数据在所述目标业务的各业务数据中的传输顺序为预设传输顺序;所述待传输数据还包括报文序号信息,所述报文序号信息包括第...

【专利技术属性】
技术研发人员:胡达郑胜利
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1