负载均衡方法、系统和电子设备技术方案

技术编号:37121630 阅读:40 留言:0更新日期:2023-04-01 05:17
本申请涉及数据服务器节点的领域,其具体地公开了一种负载均衡方法、系统和电子设备,其采用基于深度学习的卷积神经网络来挖掘出所述各个数据服务器节点的磁盘用量在节点样本维度和时间维度这两个维度上的高维关联特征。并基于彭加莱平面模型或者彭加莱圆盘模型的任意两点间距离公式来计算两个所述特征向量之间的双曲距离,以使得描述网络的几何结构更为便利。通过这样的方式,可以确定每个所述数据服务器节点的负载是否均衡,从而保证了业务的访问性能。务的访问性能。务的访问性能。

【技术实现步骤摘要】
负载均衡方法、系统和电子设备


[0001]本专利技术涉及数据服务器节点的领域,且更为具体地,涉及一种负载均衡方法、系统和电子设备。

技术介绍

[0002]随着互联网技术的不断发展,分布式文件系统的出现有效地解决了数据的存储和管理难题。分布式文件系统一般由元数据服务器和数据服务器组成,元数据服务器存储分布式文件系统的元数据,而数据服务器则存储分布式文件系统的实际用户数据。
[0003]在分布式文件系统中,使用者通常会根据数据量的增长或减少情况动态的添加或删除数据服务器节点,因此数据服务器总的个数会发生变化,同时在使用过程中可能有节点磁盘损坏等情况导致数据服务器节点动态下线或者上线,这些情况会导致各个数据服务器节点之间的数据分布和访问量都不均衡,也就会导致数据服务器节点负载不均衡,从而影响业务的访问性能。因此,为了使得数据服务器节点的负载保持均衡的状态,期望一种负载均衡方案。

技术实现思路

[0004]为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种负载均衡方法、系统和电子设备,其采用基于深度学习的卷积神经网络来本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种负载均衡方法,其特征在于,包括:获取各个数据服务器节点的磁盘用量的历史数据;将所述各个数据服务器节点的磁盘用量的历史数据构造为历史数据矩阵,其中,所述历史数据矩阵的行和列分别对应于所述数据服务器节点的节点样本维度和时间维度;使用卷积神经网络从所述历史数据矩阵获得用于表示各个所述数据服务器节点的磁盘用量在节点样本维度和时间维度的高维关联特征的用量特征图,其中,所述用量特征图的尺度为S*T*C,其中S为样本维度,T为时间维度,且C为通道维度;计算所述用量特征图在时间维度上的各个特征矩阵的全局均值以获得第一特征向量,所述第一特征向量用于表示各个所述数据服务器节点的磁盘用量在全局上的时间高维变化特征;计算所述用量特征图的沿通道维度的全局法向量的均值以得到尺度为S*T的特征矩阵;获取各个所述数据服务器节点的当前磁盘用量并将各个所述数据服务器节点的当前磁盘用量组成当前向量;将所述当前向量通过编码器编码为第二特征向量,所述第二特征向量的长度为S;将所述第二特征向量与所述特征矩阵进行矩阵相乘以将各个所述数据服务器节点的当前磁盘用量映射到时间高维变化的特征空间中,以获得长度为T的第三特征向量;分别计算所述第一特征向量和所述第三特征向量之间的双曲距离以获得长度为T的第四特征向量;将所述第四特征向量作为查询向量与所述特征矩阵进行矩阵相乘以获得长度为S的第五特征向量;计算所述第五特征向量中各个位置的类Softmax函数值,以获得每个所述数据服务器节点的负载是否均衡的概率值;以及基于所述类Softmax函数值,确定每个所述数据服务器节点的负载是否均衡。2.根据权利要求1所述的负载均衡方法,其中,将所述各个数据服务器节点的磁盘用量的历史数据构造为历史数据矩阵,包括:将各个所述数据服务器节点在各个时间点的磁盘用量排列为向量;以及将各个所述数据服务器节点对应的向量按行排列以获得所述历史数据矩阵。3.根据权利要求1所述的负载均衡方法,其中,将所述当前向量通过编码器编码为第二特征向量,所述第二特征向量的长度为S,包括:使用所述编码器的全连接层提取出所述当前向量中各个位置的特征值的高维隐含特征;以及使用所述编码器的一维卷积层提取出所述当前向量中各个位置的特征值之间的关联的高维隐含特征,以获得所述第二特征向量。4.根据权利要求1所述的负载均衡方法,其中,所述双曲距离为基于彭加莱平面模型或者彭加莱圆盘模型的任意两点间距离公式的双曲距离。5.根据权利要求1所述的负载均衡方法,其中,计算所述第五特征向量中各个位置的类Softmax函数值,以获得每个所述数据服务器节点的负载是否均衡的概率值,包括:以如下公式计算所述第五特征向量中各个位置的类Softmax函数值,其中,所述公式为:y=exp(pi)/∑
i
exp(pi),其中,y为所述类Softmax函数值,pi为所述第五特征向量中各个位置的特征值。6.根据权利要求1所述的负载均衡方法,其中,基于所述类Softmax函数值,确定每个所述数据服务器节点的负载是否均衡,包括:响应于所述类Softmax函数值大于等于预设阈值,确定相应的所述数据服务器节点的负载不均衡;以及响应于所述类Softmax函数值小于等于预设阈值,确定相应的所述数据服务器节点的负载均衡。7.一种负载均衡系统,其特征在于,...

【专利技术属性】
技术研发人员:井绪峰李晨霞金永兴
申请(专利权)人:中国计量大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1