【技术实现步骤摘要】
基于分布式的节点资源负载均衡方法、装置及电子设备
[0001]本申请涉及通信领域,尤其涉及一种基于分布式的节点资源负载均衡方法、装置、电子设备及存储介质。
技术介绍
[0002]目前,随着大数据技术的快速发展,区域内网络资源的负载均衡对于区域网络性能的影响越来越大。其中,网络链路、网络节点对于数据的分发、处理所需要时间的不均衡是影响网络资源不均衡的主要原因之一。
[0003]现有技术中,当区域核心服务器对海量数据进行处理时,首先会将该数据分成相同大小的数据块,然后通过网络链路分发给不同的网络节点,网络节点对数据块进行训练和处理后,最后将处理结果回传给区域核心服务器,由区域核心服务器进行整理和二次训练确定最终的数据结果。在上述过程中,影响网络性能的主要因素是网络链路的状态和网络节点的状态。如果分发了数据块的网络链路以及网络节点当前处于繁忙状态,会导致网络拥塞,同时,数据块回传给区域服务器的时间间隔过长,会导致服务器拥塞。
[0004]因此,如何实现数据资源的合理分配是实现网络节点资源负载均衡的关键。
专 ...
【技术保护点】
【技术特征摘要】
1.一种基于分布式的节点资源负载均衡方法,其特征在于,包括:获取预定时期内空闲网络节点的当前运行数据;根据所述空闲网络节点的当前运行数据,基于空闲时长预测模型得到所述空闲网络节点的预测空闲时段;其中,所述空闲时长预测模型是基于各网络节点的历史运行数据通过训练得到的;根据所述空闲网络节点的预测空闲时段,基于最大可利用资源分配策略进行数据分布式发布。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:获取训练数据,所述训练数据包括各网络节点的历史运行数据,所述历史运行数据包括不同时刻下的资源信息、数据信息和处理速率;根据所述训练数据,基于有监督算法训练得到所述空闲时长预测模型。3.根据权利要求2所述的方法,其特征在于,所述根据所述空闲网络节点的当前运行数据,基于空闲时长预测模型得到所述空闲网络节点的预测空闲时段,包括:将所述空闲网络节点的当前运行数据作为输入,获得所述空闲时长预测模型输出的所述空闲网络节点的预测空闲时刻;根据所述空闲网络节点的预测空闲时刻中的连续时刻,确定所述空闲网络节点的预测空闲时段。4.根据权利要求1所述的方法,其特征在于,所述获取预定时期内空闲网络节点的当前运行数据之前,还包括:根据各网络链路的当前已使用资源,确定所述各网络链路中的空闲网络链路,所述网络链路的当前已使用资源小于预设的第一阈值;从所述空闲网络链路下的各网络节点中,确定所述空闲网络节点,所述空闲网络节点的当前已使用资源小于预设的第二阈值。5.根据权利要求1
‑
4任一项所述的方法,其特征在于,所述根据所述空闲网络节点的预测空闲时段,基于最大可利用资源分配策略进行数据分布式发布,包括:计算所述空闲网络节点的预测空闲时长和当前数据处理速率的乘积,得到所述空闲网络节点的最大可利用资源;根据所述空闲网络节点的最大可利用资源,进行对应数据量的数据分布式发布。6.一种基于分布式的节点资源负载均衡装置,其特征在于,包括:获取模块,用于获取预定时期内空闲网络节点的当前运行数据;处理模块,用于根据所述空闲网络节点的当前运行数据,基于空闲时长预测模型得到所述空闲...
【专利技术属性】
技术研发人员:吴争光,柯腾辉,杨翊,宋明康,戴鹏,周壮,
申请(专利权)人:中国联合网络通信集团有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。